KR20120021103A - 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기 - Google Patents

통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기 Download PDF

Info

Publication number
KR20120021103A
KR20120021103A KR1020100085156A KR20100085156A KR20120021103A KR 20120021103 A KR20120021103 A KR 20120021103A KR 1020100085156 A KR1020100085156 A KR 1020100085156A KR 20100085156 A KR20100085156 A KR 20100085156A KR 20120021103 A KR20120021103 A KR 20120021103A
Authority
KR
South Korea
Prior art keywords
speaker
region
communication terminal
color
area
Prior art date
Application number
KR1020100085156A
Other languages
English (en)
Inventor
이재원
홍성훈
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020100085156A priority Critical patent/KR20120021103A/ko
Publication of KR20120021103A publication Critical patent/KR20120021103A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 통신단말기, 통신단말기에서 화자의 얼굴영역 검출 방법 및 이를 이용한 통신단말기와 화자 간 거리 측정 방법에 관한 것으로, 영상 통화 중 촬영된 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 변환하고 각각의 색신호 성분을 저연산으로 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하고, 각 영역에 부여된 확률 마스크를 합산하여 통합 확률 마스크를 생성하고, 통합 확률 마스크를 시간축으로 필터 처리하고 수평 및 수직 방향으로 투영하여 화자의 얼굴영역을 실시간으로 검출하는 통신단말기 및 통신단말기에서 화자의 얼굴영역 검출 방법을 제공할 수 있는 효과를 얻을 수 있다.

Description

통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기{A methode of speaker's face area detection in communication terminal and the distance measurement between speaker and communication terminal using the same and communication terminal using thesame}
본 발명은 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기에 관한 것으로, 보다 상세하게는 통화 중인 화자의 얼굴영역을 실시간으로 검출하고, 검출된 얼굴영역의 크기를 기준으로 통신단말기와 화자 사이의 거리를 측정하는 통신단말기에서 화자의 얼굴영역 검출 방법 및 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기에 관한 것이다.
얼굴영역 검출이란 영상에서 얼굴의 유무를 결정하고, 만약 영상 내에 얼굴이 존재한다면 얼굴의 위치와 크기를 찾아내는 기술 분야이다.
기존의 얼굴영역 검출 기술에는 지식 기반 방법(Knowledge-based Methods), 특정 기반 방법(Feature-based Methods), 형판 정합 방법(Integration of multiple feature Methode), 외형 기반 방법(Appearance-based Methods)이 있다.
기식 기반 방법은 연구/개발자의 지식에 근거한 규칙에 따라 얼굴영역 검출 알고리즘을 개발하는 방법으로, 대상 이미지에서 얼굴 후보 이미지는 미리 작성된 규칙에 따라 검출된다. 즉, 얼굴은 눈, 코, 입 등 특징적인 성분을 포함하고 각 성분들은 일정 거리와 일정 위치관계를 갖는다는 지식을 이용하여 얼굴의 영역을 검출한다. 이 방식은 얼굴 부위의 잡음, 밝기 혹은 다른 사물에 의해 가려지는 등의 경우에 이미지 특징들을 찾는 알고리즘이 심각한 수준으로 영향을 받을 수 있는 문제점이 있다.
특징 기반 방법은 얼굴의 기하학적인 정보를 이용하거나 얼굴 특징 성분인 눈, 코, 입, 턱 등을 이용하여 그 크기와 모양, 상호 연관성 또는 이러한 요소들의 혼합된 형태의 정보를 이용해서 얼굴을 인식하는 방법이다. 즉, 얼굴의 눈, 코, 입과 같은 특징을 이용한 검출, 얼굴이 가진 특정 질감을 이용한 검출, 얼굴의 색상을 이용한 검출 등 다양한 방법이 있다. 이 방식은 얼굴 부위의 노이즈, 밝기 혹은 다른 사물에 의해 가려지는 등의 경우에 이미지 특징들을 찾는 알고리즘이 심각한 수준으로 영향을 받을 수 있는 문제점이 있다.
형판 정합 방법은 템플렛 매칭(Template Matching) 방법이라고도 불리며, 특정 함수에 의해 계산된 얼굴에 대한 표준 템플렛을 만들고 이후 입력된 얼굴 이미 지와의 상관 정도를 측정하여 검출을 시도하는 방식이다. 이 방식은 상대적으로 구현하기가 쉽다는 장점이 있으나 얼굴 이미지의 크기, 모양, 포즈 등의 다양한 변경 사항에 대해 효율적으로 처리하지 못하는 문제점이 있다.
마지막으로 외형 기반 방법은 여러 얼굴 이미지와 다른 이미지들에서 학습한 얼굴 이미지의 특징을 이용하여 통계적인 분석을 통해 얼굴을 검출하는 방법이다. 입력 이미지에서 얼굴을 검출하기 위해 전체 이미지를 스캔하면서 확률 함수를 이용하여 얼굴 부분과 얼굴이 아닌 부분을 파악한다. 잘 알려진 얼굴 검출 방법으로는 주성분 분석(Principal Component Analysis; PCA)에 의해 생성되는 고유얼굴(Eigenfaces), 선형판별식 해석(Linear Discrimi-nant Analysis; LDA), 신경망(Neural networks; NN), 서포트 벡터 머신(Support Vector Machine; SVM) 방법을 이용하는 방법 등이 있다.
이와 같은 방법들은 조명변화, 크기변화, 위치변화 등에 따라 얼굴영역 검출이 부정확할 수 있으며, 특히 계산량이 많아 핸드폰과 같이 연산량에 제한을 받는 경우 실시간으로 처리하기가 어려운 단점이 있다.
실시간 연산을 위해 저연산으로 얼굴영역 검출을 수행하는 방법으로는 색정보에 대해 임계치를 적용하는 방식이 사용된다. 색정보는 색좌표계(color coordinate)에 따라 RGB, YCbCr, YIQ, HSV 등의 좌표계가 있다.
그러나 얼굴의 색상이 사람마다 다르고 조명환경에 따라 카메라를 통해 얻어진 피부색영역의 색상이 변한다. 따라서 단일 색좌표계에 대해 고정된 임계치만을 적용하는 기존 방식들은 조명 등 환경 변화에 민감하여 얼굴영역 검출 결과의 신뢰성이 떨어지는 문제가 있다.
따라서 핸드폰으로 영상 통화 중 화자의 얼굴을 촬영한 영상 프레임을 실시간으로 수신하여 조명 등 환경 변화에 영향을 적게 받으면서 저연산으로 화자의 얼굴영역을 검출하고, 검출한 얼굴영역을 통해 핸드폰과 화자 사이의 거리를 측정할 수 있는 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기의 개발이 필요하다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 영상 통화 중 촬영된 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 실시간으로 변환하고 각각의 색신호 성분을 저연산으로 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하고, 각 영역에 확률 마스크를 부여한 후 합산하여 통합 확률 마스크를 생성하고, 통합 확률 마스크를 시간축으로 필터 처리하고 수평 및 수직 방향으로 투영하여 화자의 얼굴영역을 실시간으로 검출하는 통신단말기에서 화자의 얼굴영역 검출 방법 및 이를 적용한 통신단말기을 제공하는데 그 목적이 있다.
또한, 본 발명은 검출한 화자의 얼굴영역을 이용하여 통신단말기와 화자 간의 거리를 측정하여, 화자에게 통화품질을 보장할 수 있는 최적의 거리를 제공할 수 있는 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기를 제공하는데 그 목적이 있다.
이러한 목적을 달성하기 위하여, 본 발명에 따른 통신단말기에서 화자의 얼굴영역 검출 방법은 통신단말기에서 화자의 얼굴영역을 검출하는 방법에 있어서, 촬영한 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 변환하는 제1 단계, 상기 변환된 각각의 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하는 제2 단계, 상기 구분된 각 영역에 피부색의 확률을 표현하는 확률 마스크를 부여하는 제3 단계, 상기 각 영역에 부여된 확률 마스크를 합산하여 통합 확률 마스크를 산출하는 제4 단계, 상기 통합 확률 마스크를 시간축으로 필터 처리하는 제5 단계 및 상기 필터 처리된 통합 확률 마스크를 수평 및 수직 방향으로 투영하여 수평 및 수직 방향의 히스토그램값을 산출하고, 상기 산출된 히스토그램값이 기설정된 일정 값보다 적은 영역을 상기 화자의 얼굴영역으로 검출하는 제6 단계를 포함할 수 있다.
상기 제1 단계는, RGB 색좌표계로 입력된 상기 화자의 영상 프레임을 아래의 식을 통해 YCbCr 색좌표계의 색신호 성분으로 변환하고,
Figure pat00001
, 상기 통신단말기는 RGB로 입력된 상기 화자의 영상 프레임을 아래의 식을 통해 YIQ 색좌표계에 대응하는 색신호 성분으로 변환할 수 있다.
Figure pat00002
상기 제2단계는, 2단계로 다단계 임계치 처리하여 상기 변환된 각각의 색신호 성분 c에 대해 각각 제1 및 제2 하위 임계치(TLc 1, TLc 2), 제1 및 제2 상위 임계치(THc 1, THc 2)를 결정하고, 상기 제1 하위 임계치와 상기 제1 상위 임계치 사이 영역을 상기 피부색 영역으로, 상기 제2 하위 임계치와 상기 제1 하위 임계치 사이 및 상기 제1 상위 임계치와 상기 제2 상위 임계치 사이 영역을 상기 중간 영역으로, 상기 제2 하위 임계치 이하 및 상기 제2 상위 임계치 이상 영역을 상기 피부색이 아닌 영역으로 정할 수 있다.
상기 제1 단계는, 상기 수신한 화자의 영상 프레임을 화이트 밸런스 보정 및 역광 보정을 하는 전처리 단계를 더 포함할 수 있다.
또한, 본 발명에 따른 통신단말기와 화자 간 거리 측정 방법은 통신단말기에서 상기 통신단말기와 화자 사이의 거리를 측정하는 방법에 있어서, 촬영한 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 변환하는 제1 단계, 상기 변환된 각각의 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하는 제2 단계, 상기 구분된 각 영역에 피부색의 확률을 표현하는 확률 마스크를 부여하는 제3 단계, 상기 각 영역에 부여된 확률 마스크를 합산하여 통합 확률 마스크를 산출하는 제4 단계, 상기 통합 확률 마스크를 시간축으로 필터 처리하는 제5 단계, 상기 필터 처리된 통합 확률 마스크를 수평 및 수직 방향으로 투영하여 수평 및 수직 방향의 히스토그램값을 산출하고, 상기 산출된 히스토그램값이 기설정된 일정 값보다 적은 영역을 상기 화자의 얼굴영역으로 검출하는 제6 단계 및 상기 검출한 얼굴영역의 면적, 수직 또는 수평 길이를 이용하여 상기 통신단말기와 상기 화자의 거리를 측정하는 제7 단계를 포함할 수 있다.
상기 제7 단계는, 아래의 식을 통해 상기 통신단말기와 상기 화자의 거리(d)를 측정하며,
Figure pat00003
, 상기 x는 상기 검출부에서 검출한 얼굴영역의 면적, 수직 또는 수평 길이를 가리키고, a와 b는 상기 통신단말기에 구비된 카메라의 종류에 따라 결정되는 계수인 것을 특징으로 한다.
또한, 본 발명에 따른 통신단말기는 수신한 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 변환한 후 각각의 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하고 각 영역에 피부색의 확률을 표현하는 확률 마스크를 부여하는 처리부, 상기 각 영역에 부여된 확률 마스크를 합산하여 통합 확률 마스크를 산출하는 합산부, 상기 통합 확률 마스크를 시간축으로 필터 처리하는 필터부, 상기 필터 처리된 통합 확률 마스크를 수평 및 수직 방향으로 투영하여 수평 및 수직 방향의 히스토그램값을 산출하고, 상기 산출된 히스토그램값이 기설정된 일정 값보다 적은 영역을 상기 화자의 얼굴영역으로 검출하는 검출부 및 상기 처리부에 상기 화자의 영상 프레임을 전송하고, 상기 처리부에서 부여한 확률 마스크를 상기 합산부에 전송하고, 상기 합산부에서 산출한 통합 확률 마스크를 상기 필터부로 전송하여 필터 처리한 후 상기 검출부로 전송하여 상기 화자의 얼굴영역을 검출하는 제어부를 포함할 수 있다.
본 발명에 따른 통신단말기는 상기 검출부에서 검출한 얼굴영역의 면적, 수직 또는 수평 길이를 이용하여 상기 통신단말기와 상기 화자 사이의 거리를 측정하는 측정부를 더 포함할 수 있다.
상기 처리부는, 각각의 색신호 성분 c에 대응하는 제1 및 제2 하위 임계치(TLc 1, TLc 2), 제1 및 제2 상위 임계치(THc 1, THc 2)를 결정하고, 상기 임계치는 아래의 식에 부합될 수 있다.
Figure pat00004
상기 처리부는, 상기 제1 하위 임계치와 상기 제1 상위 임계치 사이 영역을 상기 피부색 영역으로, 상기 제2 하위 임계치와 상기 제1 하위 임계치 사이 및 상기 제1 상위 임계치와 상기 제2 상위 임계치 사이 영역을 상기 중간 영역으로, 상기 제2 하위 임계치 이하 및 상기 제2 상위 임계치 이상 영역을 상기 피부색이 아닌 영역으로 정할 수 있다.
상기 처리부는, 상기 피부색 영역은 2점, 상기 중간 영역은 1점, 상기 피부색이 아닌 영역은 0점의 확률 마스크를 부여할 수 있다.
상기 처리부는, RGB 색신호 성분으로 입력된 영상 프레임을 YCbCr 색좌표계 또는 YIQ 색좌표계에 대응하는 색신호 성분으로 변환할 수 있다.
상기 필터부는 아래의 식을 통해 현재 프레임의 확률 마스크와 이전 프레임의 확률 마스크에 시간축으로 IIR(Infinite Impulse Response) 필터 처리하며,
Figure pat00005
, 상기 M(k)는 k번째 영상 프레임에 대한 확률 마스크이고, α는 0 내지 1의 값을 갖는 가중치인 것을 특징으로 한다.
상기 측정부는 아래의 식을 통해 상기 통신단말기와 상기 화자의 거리(d)를 측정하며,
Figure pat00006
, 상기 x는 상기 검출부에서 검출한 얼굴영역의 면적, 수직 또는 수평 길이를 가리키고, a와 b는 상기 통신단말기에 구비된 카메라의 종류에 따라 결정되는 계수인 것을 특징으로 한다.
본 발명에 따른 통신단말기는 상기 수신한 화자의 영상 프레임을 화이트 밸런스(White Balance) 보정 및 역광 보정하는 전처리부를 더 포함할 수 있다.
본 발명에 따르면, 영상 통화 중 촬영된 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 실시간으로 변환하고 각각의 색신호 성분을 저연산으로 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하고, 각 영역에 확률 마스크를 부여한 후 합산하여 통합 확률 마스크를 생성하고, 통합 확률 마스크를 시간축으로 필터 처리하고 수평 및 수직 방향으로 투영하여 화자의 얼굴영역을 실시간으로 검출할 수 있는 효과가 있다.
또한, 검출한 화자의 얼굴영역을 이용하여 통신단말기와 화자 간의 거리를 측정하여, 화자에게 통화품질을 보장할 수 있는 최적의 거리를 제공할 수 있는 효과가 있다.
또한, 스마트폰을 포함하여 영상 통화를 제공하는 통신단말기의 연산량의 제한을 갖는 환경에서 실시간으로 얼굴영역을 고신뢰도로 검출할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 통신단말기를 보여주는 블록도.
도 2 및 도 3은 본 발명의 실시예에 대한 임계치와 영역의 관계를 나타낸 도면.
도 4는 본 발명의 실시예에 따른 통신단말기에서 화자의 얼굴영역 검출 및 통신단말기와 화자 간 거리 측정 방법을 보여주는 도면.
도 5는 본 발명의 실시예에 따른 복수의 색좌표계에 대응하는 색신호 성분으로 변환된 화자의 영상 프레임을 보여주는 도면.
도 6a 내지 도 6d는 본 발명의 실시예에 따른 복수의 색신호 성분을 다단계 임계치 처리한 예를 보여주는 그래프.
도 7은 본 발명의 실시예에 따른 다단계 임계치 처리를 적용하여 얻어진 확률 마스크를 보여주는 도면.
도 8은 본 발명의 실시예에 따른 통합 확률 마스크를 보여주는 도면.
도 9는 본 발명의 실시예에 따른 IIR 필터 처리된 통합 확률 마스크를 보여주는 도면.
도 10은 본 발명의 실시예에 따른 통합 확률 마스크를 수평 및 수직 방향으로 투영한 히스토그램을 보여주는 도면.
도 11은 본 발명의 실시예에 따라 검출된 얼굴영역을 보여주는 도면.
도 12는 본 발명의 실시예에 따른 얼굴영역 수평방향 화소수와 통신단말기와 화자 사이의 거리 관계를 나타내는 그래프.
도 13은 본 발명의 실시예에 따른 얼굴 검출 및 거리 측정 결과를 보여주는 도면.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 통신단말기를 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 통신단말기는 영상통화가 가능한 단말기로, 스마트폰을 포함한 휴대폰일 수 있다.
본 발명의 실시예에 따른 통신단말기(100)는 처리부(110), 합산부(120), 필터부(130), 검출부(140), 측정부(150) 및 제어부(170)를 포함하여 구성되고, 화자의 얼굴을 촬영하기 위한 카메라(160)를 더 포함하여 구성될 수 있다.
처리부(110)는 송수신부(111), 전처리부(113), 변환부(115) 및 확률 마스크 부여부(117)를 포함하여 구성된다.
송수신부(111)는 카메라(160)가 촬영한 화자의 영상 프레임을 수신한다.
전처리부(113)는 조명변화에 따라 얼굴영역 검출의 성능이 저하되는 것을 방지하기 위해 화자의 영상 프레임을 전처리한다. 전처리는 화이트 밸런스 보정 및 역과 보정을 포함한다. 화이트 밸런스 보정은 흰 물체가 정확하게 흰색으로 재생하도록 색상의 값을 조정하는 보정 방법이다. 또한, 역광 보정은 빛을 등지고 촬영된 영상물을 최대한 밝게 자동 처리하는 보정 방법이다.
변환부(115)는 전처리된 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 변환한다. 예를 들어, 카메라(160)로부터 얻어진 영상이 RGB 색좌표계인 경우 변환부(115)는 RGB 색좌표계의 영상을 YCbCr 색좌표계 및 YIQ 색좌표계에 대응하는 색신호 성분으로 각각 변환한다.
Figure pat00007
Figure pat00008
수학식 1 및 2는 RGB 색좌표계를 YCbCR 색좌표계 및 YIQ 색좌표계로 변환하는 식이다. 즉, 카메라(160)로부터 얻어진 RGB 색좌표계의 영상을 수학식 1의 첫 번째 식에 대입하면 YCbCr 색좌표계의 Cb 색신호 성분으로 변환되고, 두 번째 식에 대입하면 YCbCr 색좌표계의 Cr 색신호 성분으로 변환된다.
마찬가지로 RGB 색좌표계의 영상을 수학식 2의 첫 번째 식에 대입하면 YIQ 색좌표계의 I 색신호 성분으로 변환되고, 두 번째 식에 대입하면 YIQ 색좌표계의 Q 색신호 성분으로 변환된다.
이외에도 영상 프레임은 수학식 3에 의해 HSV 색좌표계로 변환할 수도 있는데, 이는 연산량이 많아 통신단말기(100)에서 처리하기에 무리가 있을 수 있으므로 본 발명의 실시예에서는 제외하였다. 그러나, HSV 또는 CMYK 등 다양한 색좌표계가 있으며 변환되는 색좌표계는 YCbCr 및 YIQ에 한정되지 않는다.
Figure pat00009
확률 마스크 부여부(117)는 변환부(115)에서 변환된 각각의 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하고 각 영역에 확률 마스크를 부여한다. 이때, 중간 영역은 피부색이라고 하기에도 애매하고 피부색이 아니라고 하기에도 애매한 영역을 의미한다.
구체적으로 확률 마스크 부여부(117)는 2단계로 다단계 임계치 처리할 수 있는데, 변환된 각각의 색신호 성분 c에 대해 각각 제1 및 제2 하위 임계치(TLc 1, TLc 2), 제1 및 제2 상위 임계치(THc 1, THc 2)를 결정할 수 있다. 이때, TL은 Threshold Low, TH는 Threshold High를 나타낸다.
수학식 4는 각각의 색신호 성분에 대응하는 임계치들의 관계에 대한 식으로, i=1인 경우 첫 번째 식은 1단계 임계치 범위를 나타내고, 두 번째 식은 1단계 임계치와 2단계 임계치 사이의 관계를 나타낸다.
Figure pat00010
도 2는 본 발명의 실시예에 대한 임계치와 영역의 관계를 나타낸 도면으로, 도 2 및 수학식 4를 참조하면, 제1 하위 임계치와 제1 상위 임계치 사이 영역을 피부색 영역으로 정하고, 제2 하위 임계치와 제1 하위 임계치 사이 및 제1 상위 임계치와 제2 상위 임계치 사이 영역을 중간 영역으로, 제2 하위 임계치 이하 및 제2 상위 임계치 이상 영역을 피부색이 아닌 영역으로 정할 수 있다.
그리고 확률 마스크는 피부색의 확률을 표현하는 값으로 예를 들어 피부색 영역에는 2점, 중간 영역에는 1점, 피부색이 아닌 영역에는 0점을 부여할 수 있다.
한편, 도 3은 본 발명의 실시예에 대한 임계치와 영역의 관계를 나타낸 도면으로, 3단계 임계치 처리한 경우를 설명하고 있다. 3단계로 다단계 임계치 처리하는 경우 임계치는 변환된 각각의 색신호 성분 c에 대해 각각 제1 내지 제3 하위 임계치(TLc 1, TLc 2, TLc 3), 제1 내지 제2 상위 임계치(THc 1, THc 2, THc 3)로 결정될 수 있다. 그리고 도 3에 도시된 바와 같이 영역을 나누고 확률 마스크를 부여할 수 있다.
합산부(120)는 처리부(110)의 확률 마스크 부여부(117)에서 각 영역 즉, 피부색 영역, 중간 영역 및 피부색이 아닌 영역에 각각 부여된 확률 마스크를 합산하여 통합 확률 마스크를 산출한다.
예를 들면, 화자의 영상 프레임에 대해 YCbCr 색좌표계에 대응하는 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역, 피부색이 아닌 영역에 각각 2점, 1점, 0점이 부여되고, YIQ 색좌표계에 대응하는 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역, 피부색이 아닌 영역에 각각 2점, 1점, 0점이 부여되었다면, 합산부(120)는 이를 모두 더하여 통합 확률 마스크가 가질 수 있는 값의 범위는 0 내지 4점이 된다.
필터부(130)는 합산부(120)에서 산출한 통합 확률 마스크를 수학식 5와 같은 연산을 통해 시간축으로 필터 처리한다. 이는 선택된 얼굴영역이 프레임 단위로 급격히 변하지 않고 이전 프레임과의 상관성이 유지되도록 함으로써 얼굴영역 검출의 신뢰도를 높인다.
Figure pat00011
여기서 M(k)는 k번째 영상 프레임에 대한 확률 마스크이고, α는 0 내지 1의 값을 갖는 가중치이다. 이때, 만약 α=1이면 시간축 IIR(Infinite Impulse Response) 필터 처리 결과는 입력한 동일한 마스크 즉 M(k)와 동일하게 된다.
검출부(140)는 필터부(130)에서 필터 처리된 통합 확률 마스크를 수평 및 수직 방향으로 투영하여 수평 및 수직 방향의 히스토그램값을 산출한다. 즉, 통합 확률 마스크의 점수가 높은 화소위치는 얼굴영역일 가능성이 높은 위치이므로 최종적으로 얼굴영역을 선택하기 위해서 통합 확률 마스크의 점수를 수평 및 수직 방향으로 투영하여 누적값을 계산한다.
특히, 피부색 확률 마스크는 피부색과 유사한 배경이나 의상 같은 노이즈가 포함된 영역도 높은 확률 마스크 점수를 가질 수 있기 때문에 노이즈는 제거하고 얼굴영역만 추출하기 위해서 확률 마스크의 피부색 확률을 수평방향과 수직방향으로 투영하여 수평 및 수직 방향의 히스토그램값을 산출한다.
검출부(140)는 산출된 히스토그램값이 기 설정된 일정 값보다 큰 영역을 화자의 얼굴영역으로 검출한다. 즉, 수평 및 수직 히스토그램값이 일정 임계치보다 큰 위치를 얼굴영역 경계로 결정하여 얼굴영역을 검출하는데, 여기서 임계치는 실험을 통해 투영 히스토그램 최대값의 1/4이 적합한 것으로 확인되었다.
이를 통해 통신단말기(100)는 영상 통화를 수행하는 중에 저연산으로 화자의 얼굴영역을 실시간으로 검출할 수 있다. 이후 통화 품질을 보장하기 위한 통신단말기(100)와 화자 사이의 거리를 측정하기 위해 측정부(150)가 더 포함될 수 있는데, 측정부(150)는 검출부(140)에서 검출한 얼굴영역의 면적, 수직 또는 수평 길이를 이용하여 통신단말기(100)와 화자 사이의 거리를 측정할 수 있다.
구체적으로, 검출한 얼굴영역의 면적(화소수), 수직길이(화소수) 및 수평길이(화소수)를 포함하는 얼굴영역 파라미터(x)는 통신단말기(100)와 화자 사이의 거리(d)와 반비례 관계를 갖는다.
이는 수학식 6으로 표현할 수 있다.
Figure pat00012
여기서, a, b는 통신단말기(100)에 구비된 카메라(160)의 종류에 따라 결정되는 계수이다.
한편, 제어부(170)는 통신단말기(100)의 전반적인 제어 동작을 수행하는 마이크로 프로세어이다.
제어부(170)는 카메라(160)가 촬영한 영상 프레임을 처리부(110)에 전송하고, 처리부(110)에서 부여한 확률 마스크를 합산부(120)에 전송하고, 합산부(120)에서 산출한 통합 확률 마스크를 필터부(130)로 전송하여 필터 처리한 후 검출부(140)로 전송하여 화자의 얼굴영역을 검출하도록 제어한다.
또한, 제어부(170)는 검출부(140)에서 검출한 얼굴영역을 이용하여 측정부(150)에서 통신단말기와 화자 사이의 거리를 측정하도록 제어한다.
본 발명의 실시예에 의한 통신단말기에서 화자의 얼굴영역 검출 방법 및 이를 이용한 통신단말기와 화자 간 거리 측정 방법은 도 1 내지 도 13을 참조하여 설명하면 다음과 같다. 도 4는 본 발명의 실시예에 따른 통신단말기에서 화자의 얼굴영역 검출 및 통신단말기와 화자 간 거리 측정 방법을 보여주는 도면이다.
도 1 및 도 4를 참조하면, S210과정에서 통신단말기(100)의 송수신부(111)는 카메라(160)가 촬영한 화자의 k번째 영상 프레임(F(k))을 수신한다. F(k)는 RGB 색좌표계 대응하는 색신호 성분을 갖도록 촬영될 수 있다.
다음으로 S210과정에서 전처리부(113)는 수신한 F(k)를 전처리한다. 전처리 과정은 화이트 밸런스 보정 및 히스토그램 정규화를 이용한 역광 보정을 포함하는데, 이와 같은 두가지의 전처리 과정은 매우 어두운 조명 환경하에서도 얼굴영역을 검출하기 위해 수행된다.
다음으로 S230과정에서 변환부(115)는 전처리된 F(k)를 복수의 색좌표계에 대응하는 색신호 성분으로 변환한다. 도 5은 본 발명의 실시예에 따른 복수의 색좌표계에 대응하는 색신호 성분으로 변환된 화자의 영상 프레임을 보여주는 도면으로, 도 5의 (a)는 YCbCr 색좌표계의 Cb 색성분으로 변환된 영상 프레임을 보여주고, 도 5의 (b)는 YCbCr 색좌표계의 Cr 색성분으로 변환된 영상 프레임을 보여준다. 그리고 도 5의 (c) 및 (d)는 각각 YIQ 색좌표계의 I 색성분 및 Q 색성분으로 변환된 영상 프레임을 보여준다.
이때, S231과정은 도 5의 (a) 및 (b)에 도시된 바와 같이 전처리된 RGB 색좌표계의 F(k)를 YCbCr 색좌표계에 대응하는 색신호 성분으로 변환하고, S232과정은 도 5의 (c) 및 (d)에 도시된 바와 같이 전처리된 RGB 색좌표계의 F(k)를 YIQ 색좌표계에 대응하는 색신호 성분으로 변환한다. 만약 더 많은 색좌표계로 변환하는 경우 도시되지는 않았으나 S233과정에서 HSV 색좌표계에 대응하는 색신호 성분으로 변환할 수 있다.
이외에도 색좌표계로 변환하는 과정은 HSV, CMYK 등 다양하며 그 종류는 이에 한정되지 않는다.
다음으로 S240과정에서 확률 마스크 부여부(117)는 각각 변환된 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분한다. 이는 이후 단계에서 각각의 영역에 확률 마스크를 부여하기 위해 구분하는 것이다.
도 6a 내지 도 6d는 본 발명의 실시예에 따른 복수의 색신호 성분을 다단계 임계치 처리한 예를 보여주는 그래프이고, 도 7은 본 발명의 실시예에 따른 다단계 임계치 처리를 적용하여 얻어진 확률 마스크를 보여주는 도면이다.
도 6a 및 도 6b는 각각 Cb 색신호 성분 및 Cr 색신호 성분을 다단계 임계치 처리한 예를 보여주고, 도 6c 및 도 6d는 각각 I 색신호 성분 및 Q 색신호 성분을 다단계 임계치 처리한 예를 보여준다.
본 발명의 실시예에 따른 다단계 임계치 처리는 2단계 임계치 처리로서, 임계치가 제1 및 제2 하위 임계치(TLc 1, TLc 2), 제1 및 제2 상위 임계치(THc 1, THc 2)를 포함하여 총 4개가 결정된다.
구체적으로, S241a과정은 도 6a 및 도 6b에 도시된 바와 같이 Cb 및 Cr 색신호 성분에 대해 2단계 임계치를 처리하고, 이때의 임계치는 TLCb 1, TLCb 2, TLCr 1, TLCr 2로 표현되는 제1 및 제2 하위 임계치, THCb 1, THCb 2, THCr 1, THCr 2로 표현되는 제1 및 제2 상위 임계치이다.
그리고 S242a과정은 도 6c 및 도 6d에 도시된 바와 같이 I 및 Q 색신호 성에 대해 2단계 임계치를 처리하고, 이때의 임계치는 TLI 1, TLI 2, TLQ 1, TLQ 2로 표현되는 제1 및 제2 하위 임계치, THI 1, THI 2, THQ 1, THQ 2로 표현되는 제1 및 제2 상위 임계치이다.
이때, 도 6a 내지 도 6d에 도시된 바와 같이 각 색신호 성분에 대응하여 제1 하위 임계치와 제1 상위 임계치 사이 영역을 피부색 영역(a)으로, 제2 하위 임계치와 제1 하위 임계치 사이 및 제1 상위 임계치와 제2 상위 임계치 사이 영역을 중간 영역(b)으로, 제2 하위 임계치 이하 및 제2 상위 임계치 이상 영역을 피부색이 아닌 영역(c)으로 정할 수 있다.
그리고 S241b과정에서 도 7에 도시된 바와 같이 확률 마스크 부여부(117)는 구분된 각각의 영역에 확률 마스크를 부여한다. 도 7의 (a)는 Cb와 Cr 색신호 성분에 대해 부여된 확률 마스크를 나타내고, 도 7의 (b)는 I와 Q 색신호 성분에 대해 부여된 확률 마스크를 나타낸다. 예를 들어 피부색 영역(a)은 2점, 중간 영역(b)에는 1점, 피부색이 아닌 영역(c)에는 0점을 부여한다.
일반적으로 확률 마스크는 2단계 임계치 처리가 되는 경우 0 내지 4의 값을 갖는데, 큰 값은 피부색일 확률이 높음을 의미한다. 예로써 도 7의 (a)에 도시된 Cb와 Cr 색신호 성분에 대한 확률 마스크의 경우 수학식 7의 집합으로 표현될 수 있다.
Figure pat00013
다음으로 S250과정에서 합산부(120)는 각 색좌표계에 대한 확률 마스크를 모두 더해 통합 확률 마스크를 산출한다. 도 8은 본 발명의 실시예에 따른 통합 확률 마스크를 보여주는 도면으로, 도 8은 도 6a 내지 도 6d에 도시된 Cb와 Cr 색신호 성분과 I와 Q 색신호 성분에 대한 개별 확률 마스크를 더해 얻은 통합 확률 마스크의 예를 나타낸다.
본 발명의 실시예에 따른 다단계 임계치 처리 방식이 2단계 임계치 처리 방식인 경우 개별 확률 마스크가 가질 수 있는 점수의 범위가 0 내지 2점이므로 CbCr과 IQ 두 개의 색좌표계에 대한 통합 확률 마스크는 0 내지 4의 값을 가질 수 있다.
다음으로 S260과정에서 필터부(130)는 합산부(120)에서 산출한 통합 확률 마스크를 시간축으로 필터 처리한다. 도 9는 본 발명의 실시예에 따른 IIR 필터 처리된 통합 확률 마스크를 보여주는 도면이다.
필터부(130) 상기 수학식 4의 연산을 통해 시간축 IIR(Infinite Impulse Response) 필터 처리하여 선택된 얼굴영역이 프레임 단위로 급격히 변하지 않고 이전 프레임과의 상관성이 유지되도록 함으로써 얼굴영역 검출의 신뢰도를 높인다.
이때, 도 9에 도시된 필터 처리된 통합 확률 마스크는 도 8에 도시된 통합 확률 마스크와 비교하여 모서리 또는 에지(edge)에 나타난 높은 확률 값이 낮아지고 전반적으로 평활화된 것을 알 수 있다.
즉, 본 발명의 실시예에 따른 필터부(130)는 IIR 필터 수행을 통하여 오류에 의한 잘못된 확률 마스크에 대한 평가를 피할 수 있고 시간축에 대해 처리를 하기 때문에 단위 시간 동안 확률 마스크 값이 크게 움직일 수 없는 가정 하에 갑작스런 빛의 간섭에도 더욱 강한 검출을 할 수 있도록 한다.
다음으로 S270과정에서 검출부(140)는 필터 처리된 통합 확률 마스크를 수평 및 수직 방향으로 투영하여 수평 및 수직 방향의 히스토그램값을 산출한다. 도 10은 본 발명의 실시예에 따른 통합 확률 마스크를 수평 및 수직 방향으로 투영한 히스토그램을 보여주는 도면이다.
필터부(130)에서 필터 처리된 통합 확률 마스크의 점수가 높은 화소위치는 얼굴영역일 가능성이 높은 위치이므로 최종적으로 얼굴영역을 검출하기 위해서 통합 확률 마스크의 점수를 수평 및 수직 방향으로 투영하여 누적값을 계산한다.
다음으로 S280과정에서 검출부(140)는 도 10에 도시된 수평 및 수직 투영 히스토그램을 이용하여 얼굴영역을 검출한다. 도 11은 본 발명의 실시예에 따라 검출된 얼굴영역을 보여주는 도면으로, 수평 및 수직 좌표의 히스토그램 값이 일정 임계치보다 큰 위치를 얼굴영역의 경계로 결정한 것이다.
다음으로 S290과정에서 측정부(150)는 검출부(140)에서 검출한 얼굴영역을 기반으로 화자와 통신단말기 사이의 거리를 측정한다. 도 12는 본 발명의 실시예에 따른 얼굴영역 수평방향 화소수와 통신단말기와 화자 사이의 거리 관계를 나타내는 그래프이다. 도 12는 3차례의 실험을 통해 얻어진 데이터를 수학식 6으로 피팅(fitting)한 것으로 95%의 신뢰구간에서 a=4630, b=2.549의 값을 갖는다.
한편, 도 13은 본 발명의 실시예에 따른 얼굴 검출 및 거리 측정 결과를 보여주는 도면으로, 다양한 조명과 배경 그리고 피부색에 대하여 실험한 결과이다. 도 13을 참조하면, 피부색과 유사한 배경에서도 얼굴영역 선택과 거리 측정을 수행할 수 있다.
결과적으로 본 발명의 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기는 영상 통화 중 촬영된 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 실시간으로 변환하고 각각의 색신호 성분을 저연산으로 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하고, 각 영역에 부여된 확률 마스크를 합산하여 통합 확률 마스크를 생성하고, 통합 확률 마스크를 시간축으로 필터 처리하고 수평 및 수직 방향으로 투영하여 화자의 얼굴영역을 실시간으로 검출할 수 있는 효과가 있다.
또한, 검출한 화자의 얼굴영역을 이용하여 통신단말기와 화자 간의 거리를 측정하여, 화자에게 통화품질을 보장할 수 있는 최적의 거리를 제공할 수 있는 효과가 있다.
또한, 스마트폰을 포함하여 영상 통화를 제공하는 통신단말기의 연산량의 제한을 갖는 환경에서 실시간으로 얼굴영역을 고신뢰도로 검출할 수 있는 효과가 있다.
이상에서, 본 발명의 구성 및 동작을 상기한 설명 및 도면에 따라 도시하였지만 이는 예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.
100 : 통신단말기 110 : 처리부
111 : 송수신부 113 : 전처리부
115 : 변환부 117 : 확률 마스크 부여부
120 : 합산부 130 : 필터부
140 : 검출부 150 : 측정부
160 : 카메라 170 : 제어부

Claims (18)

  1. 통신단말기에서 화자의 얼굴영역을 검출하는 방법에 있어서,
    촬영한 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 변환하는 제1 단계;
    상기 변환된 각각의 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하는 제2 단계;
    상기 구분된 각 영역에 피부색의 확률을 표현하는 확률 마스크를 부여하는 제3 단계;
    상기 각 영역에 부여된 확률 마스크를 합산하여 통합 확률 마스크를 산출하는 제4 단계;
    상기 통합 확률 마스크를 시간축으로 필터 처리하는 제5 단계; 및
    상기 필터 처리된 통합 확률 마스크를 수평 및 수직 방향으로 투영하여 수평 및 수직 방향의 히스토그램값을 산출하고, 상기 산출된 히스토그램값이 기설정된 일정 값보다 적은 영역을 상기 화자의 얼굴영역으로 검출하는 제6 단계;를 포함하는 통신단말기에서 화자의 얼굴영역 검출 방법.
  2. 제1항에 있어서, 상기 제1 단계는,
    RGB 색좌표계로 입력된 상기 화자의 영상 프레임을 아래의 식을 통해 YCbCr 색좌표계의 색신호 성분으로 변환하고,
    Figure pat00014
    ,
    상기 통신단말기는 RGB로 입력된 상기 화자의 영상 프레임을 아래의 식을 통해 YIQ 색좌표계에 대응하는 색신호 성분으로 변환하는 것을 특징으로 하는 통신단말기에서 화자의 얼굴영역 검출 방법.
    Figure pat00015
  3. 제2항에 있어서, 상기 제2단계는,
    2단계로 다단계 임계치 처리하여 상기 변환된 각각의 색신호 성분 c에 대해 각각 제1 및 제2 하위 임계치(TLc 1, TLc 2), 제1 및 제2 상위 임계치(THc 1, THc 2)를 결정하고,
    상기 제1 하위 임계치와 상기 제1 상위 임계치 사이 영역을 상기 피부색 영역으로,
    상기 제2 하위 임계치와 상기 제1 하위 임계치 사이 및 상기 제1 상위 임계치와 상기 제2 상위 임계치 사이 영역을 상기 중간 영역으로,
    상기 제2 하위 임계치 이하 및 상기 제2 상위 임계치 이상 영역을 상기 피부색이 아닌 영역으로 정하는 것을 특징으로 하는 통신단말기에서 얼굴영역 검출 방법.
  4. 제3항에 있어서, 상기 제1 단계는,
    상기 수신한 화자의 영상 프레임을 화이트 밸런스 보정 및 역광 보정을 하는 전처리 단계를 더 포함하는 것을 특징으로 하는 통신단말기에서 얼굴영역 검출 방법.
  5. 통신단말기에서 상기 통신단말기와 화자 사이의 거리를 측정하는 방법에 있어서,
    촬영한 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 변환하는 제1 단계;
    상기 변환된 각각의 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하는 제2 단계;
    상기 구분된 각 영역에 피부색의 확률을 표현하는 확률 마스크를 부여하는 제3 단계;
    상기 각 영역에 부여된 확률 마스크를 합산하여 통합 확률 마스크를 산출하는 제4 단계;
    상기 통합 확률 마스크를 시간축으로 필터 처리하는 제5 단계;
    상기 필터 처리된 통합 확률 마스크를 수평 및 수직 방향으로 투영하여 수평 및 수직 방향의 히스토그램값을 산출하고, 상기 산출된 히스토그램값이 기설정된 일정 값보다 적은 영역을 상기 화자의 얼굴영역으로 검출하는 제6 단계; 및
    상기 검출한 얼굴영역의 면적, 수직 또는 수평 길이를 이용하여 상기 통신단말기와 상기 화자의 거리를 측정하는 제7 단계;를 더 포함하는 통신단말기와 화자 간 거리 측정 방법.
  6. 제5항에 있어서, 상기 제1 단계는,
    RGB 색좌표계로 입력된 상기 화자의 영상 프레임을 아래의 식을 통해 YCbCr 색좌표계의 색신호 성분으로 변환하고,
    Figure pat00016
    ,
    상기 통신단말기는 RGB로 입력된 상기 화자의 영상 프레임을 아래의 식을 통해 YIQ 색좌표계에 대응하는 색신호 성분으로 변환하는 것을 특징으로 하는 통신단말기와 화자 간 거리 측정 방법.
    Figure pat00017
  7. 제6항에 있어서, 상기 제2단계는,
    2단계로 다단계 임계치 처리하여 상기 변환된 각각의 색신호 성분 c에 대해 각각 제1 및 제2 하위 임계치(TLc 1, TLc 2), 제1 및 제2 상위 임계치(THc 1, THc 2)를 결정하고,
    상기 제1 하위 임계치와 상기 제1 상위 임계치 사이 영역을 상기 피부색 영역으로,
    상기 제2 하위 임계치와 상기 제1 하위 임계치 사이 및 상기 제1 상위 임계치와 상기 제2 상위 임계치 사이 영역을 상기 중간 영역으로,
    상기 제2 하위 임계치 이하 및 상기 제2 상위 임계치 이상 영역을 상기 피부색이 아닌 영역으로 정하는 것을 특징으로 하는 통신단말기와 화자 간 거리 측정 방법.
  8. 제7항에 있어서, 상기 제1 단계는,
    상기 수신한 화자의 영상 프레임을 화이트 밸런스 보정 및 역광 보정을 하는 전처리 단계를 더 포함하는 것을 특징으로 하는 통신단말기와 화자 간 거리 측정 방법.
  9. 제5항 내지 제8항 중 어느 한 항에 있어서, 상기 제7 단계는,
    아래의 식을 통해 상기 통신단말기와 상기 화자의 거리(d)를 측정하며,
    Figure pat00018
    ,
    상기 x는 상기 검출부에서 검출한 얼굴영역의 면적, 수직 또는 수평 길이를 가리키고, a와 b는 상기 통신단말기에 구비된 카메라의 종류에 따라 결정되는 계수인 것을 특징으로 하는 통신단말기와 화자 간 거리 측정 방법.
  10. 수신한 화자의 영상 프레임을 복수의 색좌표계에 대응하는 색신호 성분으로 변환한 후 각각의 색신호 성분을 다단계 임계치 처리하여 피부색 영역, 중간 영역 및 피부색이 아닌 영역으로 구분하고 각 영역에 피부색의 확률을 표현하는 확률 마스크를 부여하는 처리부;
    상기 각 영역에 부여된 확률 마스크를 합산하여 통합 확률 마스크를 산출하는 합산부;
    상기 통합 확률 마스크를 시간축으로 필터 처리하는 필터부;
    상기 필터 처리된 통합 확률 마스크를 수평 및 수직 방향으로 투영하여 수평 및 수직 방향의 히스토그램값을 산출하고, 상기 산출된 히스토그램값이 기설정된 일정 값보다 적은 영역을 상기 화자의 얼굴영역으로 검출하는 검출부; 및
    상기 처리부에 상기 화자의 영상 프레임을 전송하고, 상기 처리부에서 부여한 확률 마스크를 상기 합산부에 전송하고, 상기 합산부에서 산출한 통합 확률 마스크를 상기 필터부로 전송하여 필터 처리한 후 상기 검출부로 전송하여 상기 화자의 얼굴영역을 검출하는 제어부;를 포함하는 통신단말기.
  11. 제10항에 있어서,
    상기 검출부에서 검출한 얼굴영역의 면적, 수직 또는 수평 길이를 이용하여 상기 통신단말기와 상기 화자 사이의 거리를 측정하는 측정부;를 더 포함하는 것을 특징으로 하는 통신단말기.
  12. 제10항 또는 제11항에 있어서, 상기 처리부는,
    각각의 색신호 성분 c에 대응하는 제1 및 제2 하위 임계치(TLc 1, TLc 2), 제1 및 제2 상위 임계치(THc 1, THc 2)를 결정하고, 상기 임계치는 아래의 식에 부합하는 것을 특징으로 하는 통신단말기.
    Figure pat00019
  13. 제12항에 있어서, 상기 처리부는,
    상기 제1 하위 임계치와 상기 제1 상위 임계치 사이 영역을 상기 피부색 영역으로,
    상기 제2 하위 임계치와 상기 제1 하위 임계치 사이 및 상기 제1 상위 임계치와 상기 제2 상위 임계치 사이 영역을 상기 중간 영역으로,
    상기 제2 하위 임계치 이하 및 상기 제2 상위 임계치 이상 영역을 상기 피부색이 아닌 영역으로 정하는 것을 특징으로 하는 통신단말기.
  14. 제13항에 있어서, 상기 처리부는,
    상기 피부색 영역은 2점, 상기 중간 영역은 1점, 상기 피부색이 아닌 영역은 0점의 확률 마스크를 부여하는 것을 특징으로 하는 통신단말기.
  15. 제14항에 있어서, 상기 처리부는,
    RGB 색신호 성분으로 입력된 영상 프레임을 YCbCr 색좌표계 또는 YIQ 색좌표계에 대응하는 색신호 성분으로 변환하는 것을 특징으로 하는 통신단말기.
  16. 제15항에 있어서, 상기 필터부는 아래의 식을 통해 현재 프레임의 확률 마스크와 이전 프레임의 확률 마스크에 시간축으로 IIR(Infinite Impulse Response) 필터 처리하며,
    Figure pat00020
    ,
    상기 M(k)는 k번째 영상 프레임에 대한 확률 마스크이고, α는 0 내지 1의 값을 갖는 가중치인 것을 특징으로 하는 통신단말기.
  17. 제11항에 있어서, 상기 측정부는 아래의 식을 통해 상기 통신단말기와 상기 화자의 거리(d)를 측정하며,
    Figure pat00021
    ,
    상기 x는 상기 검출부에서 검출한 얼굴영역의 면적, 수직 또는 수평 길이를 가리키고, a와 b는 상기 통신단말기에 구비된 카메라의 종류에 따라 결정되는 계수인 것을 특징으로 하는 통신단말기.
  18. 제17항에 있어서,
    상기 수신한 화자의 영상 프레임을 화이트 밸런스(White Balance) 보정 및 역광 보정하는 전처리부;를 더 포함하는 것을 특징으로 하는 통신단말기.
KR1020100085156A 2010-08-31 2010-08-31 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기 KR20120021103A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100085156A KR20120021103A (ko) 2010-08-31 2010-08-31 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100085156A KR20120021103A (ko) 2010-08-31 2010-08-31 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기

Publications (1)

Publication Number Publication Date
KR20120021103A true KR20120021103A (ko) 2012-03-08

Family

ID=46129570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100085156A KR20120021103A (ko) 2010-08-31 2010-08-31 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기

Country Status (1)

Country Link
KR (1) KR20120021103A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015030705A1 (en) * 2013-08-26 2015-03-05 Intel Corporation Automatic white balancing with skin tone correction for image processing
CN112241714A (zh) * 2020-10-22 2021-01-19 北京字跳网络技术有限公司 图像中指定区域的识别方法、装置、可读介质和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015030705A1 (en) * 2013-08-26 2015-03-05 Intel Corporation Automatic white balancing with skin tone correction for image processing
US9398280B2 (en) 2013-08-26 2016-07-19 Intel Corporation AWB using face detection
CN112241714A (zh) * 2020-10-22 2021-01-19 北京字跳网络技术有限公司 图像中指定区域的识别方法、装置、可读介质和电子设备
CN112241714B (zh) * 2020-10-22 2024-04-26 北京字跳网络技术有限公司 图像中指定区域的识别方法、装置、可读介质和电子设备

Similar Documents

Publication Publication Date Title
US7916904B2 (en) Face region detecting device, method, and computer readable recording medium
EP3477931A1 (en) Image processing method and device, readable storage medium and electronic device
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
US8977056B2 (en) Face detection using division-generated Haar-like features for illumination invariance
US6404900B1 (en) Method for robust human face tracking in presence of multiple persons
US10509948B2 (en) Method and device for gesture recognition
US8605955B2 (en) Methods and apparatuses for half-face detection
KR100608595B1 (ko) 얼굴 인식 방법 및 장치
KR100931752B1 (ko) 눈동자 색 보정 장치 및 프로그램이 기록된 기록 매체
US10506174B2 (en) Information processing apparatus and method for identifying objects and instructing a capturing apparatus, and storage medium for performing the processes
US20060280363A1 (en) Image processing apparatus and method, computer program, and storage medium
US8295593B2 (en) Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics
KR100922653B1 (ko) 눈동자색 보정 장치 및 기록 매체
JP6157165B2 (ja) 視線検出装置及び撮像装置
US20230059499A1 (en) Image processing system, image processing method, and non-transitory computer readable medium
JP4658532B2 (ja) 顔を検出する処理方法及び画像中の顔の検出装置
CN109886195B (zh) 基于深度相机近红外单色灰度图的皮肤识别方法
JP2005309765A (ja) 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
Rahman et al. Real-time face-priority auto focus for digital and cell-phone cameras
US20240104769A1 (en) Information processing apparatus, control method, and non-transitory storage medium
EP3961495A1 (en) System and method for finding an area of an eye from a facial image
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
KR20120021103A (ko) 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기
Ma et al. A face detection algorithm based on modified skin-color model
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application