KR101009151B1 - 휴대용 단말기의 환경설정 변경 장치 및 그 방법 - Google Patents

휴대용 단말기의 환경설정 변경 장치 및 그 방법 Download PDF

Info

Publication number
KR101009151B1
KR101009151B1 KR1020080087463A KR20080087463A KR101009151B1 KR 101009151 B1 KR101009151 B1 KR 101009151B1 KR 1020080087463 A KR1020080087463 A KR 1020080087463A KR 20080087463 A KR20080087463 A KR 20080087463A KR 101009151 B1 KR101009151 B1 KR 101009151B1
Authority
KR
South Korea
Prior art keywords
image
face
user
color
emotion
Prior art date
Application number
KR1020080087463A
Other languages
English (en)
Other versions
KR20100028428A (ko
Inventor
변오성
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020080087463A priority Critical patent/KR101009151B1/ko
Publication of KR20100028428A publication Critical patent/KR20100028428A/ko
Application granted granted Critical
Publication of KR101009151B1 publication Critical patent/KR101009151B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 휴대용 단말기의 환경설정 변경 장치 및 그 방법에 관한 것으로, 특히 사용자의 얼굴을 촬영하여 사용자의 감정상태를 파악한 후에 파악된 감정상태에 따라 촬영된 영상의 배경이나 인물의 색감 등을 조정할 수 있도록 하는 휴대용 단말기의 환경설정 변경 장치 및 그 방법에 관한 것이다.
휴대용 단말기, 환경설정, 얼굴, 감정, 배경화면, 얼굴색, 색감

Description

휴대용 단말기의 환경설정 변경 장치 및 그 방법{Apparatus for modification in the setting and method thereof in the portable terminal}
본 발명은 휴대용 단말기의 환경설정 변경 장치 및 그 방법에 관한 것으로, 특히 사용자의 얼굴을 촬영하여 사용자의 감정상태를 파악한 후에 파악된 감정상태에 따라 촬영된 영상의 배경이나 인물의 색감 등을 조정할 수 있도록 하는 휴대용 단말기의 환경설정 변경 장치 및 그 방법에 관한 것이다.
디지털 컨버전스(digital conversions) 기술의 발전으로 휴대용 단말기에 여러 가지 다양한 기능이 융합되고 있다.
최근의 대부분의 휴대용 단말기에는 디지털 카메라가 장착되어 고화질의 사진을 찍을 수 있으며, 더 나아가 디지털 멀티미디어 방송(Digital Multimedia Broadcasting, DMB)의 수신, MP3 파일의 재생 등이 가능하게 되었다.
또한, 여러 가지 센서가 부착되어 사용자의 상태를 파악하는데 이용되기도 한다. 예를 들어 혈당 센서나 맥박 센서를 더 부착하여 당뇨 여부를 판단하거나 맥 박을 체크하여 사용자의 상태를 파악하는데 이용되기도 한다.
그리고, 휴대용 단말기의 외부에 온도에 따라 색상이 달라지는 발색층을 두거나, 밧데리를 통해 전원을 공급받아 발열되는 발열체를 두어 사용자의 다양한 인터랙션을 반영하기도 한다.
한편 상술한 바와 같이, 휴대용 단말기 하드웨어뿐만 아니라 휴대용 단말기의 사용자 인터페이스(user interface, U/I), 예를 들어 액정 화면을 변경하는 서비스나 벨소리 서비스 등의 소프트웨어 및 컨텐츠의 종류도 다양해지고 있다.
점점 풍부하고 다양한 컨텐츠가 공급됨에 따라 이러한 서비스를 이용하는 사용자들도 증가하는 추세에 있다.
그러나, 이러한 종래의 방법들은 사용자의 신체 또는 감정 상태를 파악하는 것과 휴대용 단말기의 사용자 인터페이스를 변경하는 것이 결합되어 동작하는 것이 아니라, 센서에 의한 사용자의 상태 판단과, 컨텐츠의 변경이 별개로 이루어져 있어, 사용자는 그때 그때의 기분에 따라 자신이 맘에 드는 컨텐츠를 다운로드 받아 휴대용 단말기의 액정화면이나 벨소리를 변경해야 했다.
이를 해결하기 위한 개선된 종래 기술로서 국내공개특허번호 2006-129582호의 "사용자의 감정 상태에 따라 단말기의 환경설정을 변경하는 이동통신 단말기 및 그 변경방법"이 있다.
개선된 종래 기술에서는, 사용자의 음성, 얼굴, 체온, 맥박, 피부 수분도 등을 여러 가지 센서를 사용하여 측정하여 사용자의 감정 상태를 파악하고, 파악된 사용자의 감정 상태에 따라 단말기의 환경설정을 변경하는 이동통신 단말기 및 그 변경방법이 제공된다.
그리고, 개선된 종래 기술에서는 얻어진 감정 상태 정보에 따라 휴대용 단말기의 디스플레이 배경화면, 벨소리, 단말기 외부의 발열 등의 설정을 변경한다.
한편, 휴대용 단말기에 있어서 사용자로부터 얻어진 감정 상태 정보에 따라 촬영한 영상의 배경이나 인물의 색감을 변경한다면 좋을 것이다.
특히, 최근에 휴대용 단말기의 사용자들이 점점더 촬영된 영상의 배경이나 인물의 색감에 민감해지고 있는 추세에 있기 때문에 이러한 필요성을 만족시키는 것이 더 중요해지고 있다.
따라서, 본 발명은 상기와 같은 필요를 만족시키기 위하여 안출된 것으로, 사용자의 감정 상태에 따라 촬영한 영상의 배경이나 인물의 색감등을 변경할 수 있도록 하는 휴대용 단말기의 환경설정 변경 장치 및 그 방법을 제공하는데 있다.
또한, 본 발명은 휴대용 단말기에 추가적인 구성요소의 부가없이 상용화된 카메라를 이용하여 사용자의 감정상태를 파악하여 촬영한 영상의 배경이나 인물의 색감 등을 변경할 수 있도록 하는 휴대용 단말기의 환경설정 변경 장치 및 그 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명은, 카메라로부터 촬영된 영상을 입력받는 영상 입력부; 상기 영상 입력부로부터 영상 데이터를 입력받아 사용자의 감정 상태를 파악하여 파악된 감정 상태를 출력하는 영상 분석부; 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 상기 카메라를 통하여 촬영한 영상의 색감을 변화시키는 단말 상태 제어부; 및 상기 단말 상태 제어부에서 색감이 변화된 영상을 상대방에게 전송하는 무선통신부를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 사용자의 음성을 입력받는 음성 입출력부를 더 포함하며, 상기 단말 상태 제어부는 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 상기 음성 입출력부를 통하여 입력된 사용자의 음성을 변화시키는 것을 특징으로 한다.
또한, 본 발명의 상기 단말 상태 제어부는 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 상기 카메라가 촬영한 영상의 배경 색감을 변화시키는 것을 특징으로 한다.
또한, 본 발명의 상기 단말 상태 제어부는 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 상기 카메라가 촬영한 영상의 인물 색감을 변화시키는 것을 특징으로 한다.
또한, 본 발명의 상기 영상 분석부는, 상기 영상 입력부에서 입력된 영상에서 얼굴 영역을 검출하여 출력하는 얼굴 영역 검출기; 상기 얼굴 영역 검출기에서 추출된 얼굴에서 얼굴의 구성요소의 위치나 비율을 결정하는 파라미터를 추출하여 출력하는 얼굴 공간 탐색기; 상기 얼굴 공간 탐색기에서 추출한 파라미터를 이용하여 얼굴의 구성요소의 특징점을 추출하는 특징점 추출기; 및 상기 특징점 추출기에서 추출된 특징점을 이용하여 사용자의 감정 상태를 판단하는 감정 인식기를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 (a) 영상 입력부가 카메라로부터 촬영된 영상을 입력받는 단계; (b) 영상 분석부가 상기 영상 입력부로부터 영상 데이터를 입력받아 사용자의 감정 상태를 파악하여 파악된 감정 상태를 출력하는 단계; (c) 단말상태 제어부가 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 상기 카메라를 통하여 촬영한 영상의 색감을 변화시키는 단계; 및 (d) 무선 통신부가 상기 단말 상태 제어부에서 색감이 변화된 영상을 상대방에게 전송하는 단계를 포함하여 이루어진 것 을 특징으로 한다.
또한, 본 발명은 (e) 상기 단말 상태 제어부가 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 음성 입출력부를 통하여 입력된 사용자의 음성을 변화시키는 단계; 및 (f) 상기 무선통신부가 상기 단말 상태 제어부에서 변화된 사용자의 음성을 전송하는 단계를 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명의 상기 (b)단계는, 상기 영상 분석부에 구비된 얼굴 영역 검출기가 상기 영상 입력부에서 입력된 영상에서 얼굴 영역을 검출하여 출력하는 단계; 상기 영상 분석부에 구비된 얼굴 공간 탐색기가 상기 얼굴 영역 검출기에서 추출된 얼굴에서 얼굴의 구성요소의 위치나 비율을 결정하는 파라미터를 추출하여 출력하는 단계; 상기 영상 분석부에 구비된 특징점 추출기가 상기 얼굴 공간 탐색기에서 추출한 파라미터를 이용하여 얼굴의 구성요소의 특징점을 추출하는 단계; 및 상기 영상 분석부에 구비된 감정 인식기가 상기 특징점 추출기에서 추출된 특징점을 이용하여 사용자의 감정 상태를 판단하는 단계를 포함하여 이루어진 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 사용자의 감정 상태에 따라 배경이나 인물 색감을 변경하기 때문에 사용자의 감정 상태를 통화 상대방에게 용이하게 전달할 수 있도록 하는 효과가 있다.
또한, 본 발명에 따르면, 사용자의 감정 상태가 통화 상대방에게 전달되기 때문에 통화상의 감정 교감을 증대시킬 수 있도록 하는 효과가 있다.
또한, 본 발명에 따르면, 상용화된 카메라를 사용하여 사용자의 감정상태를 파악하기 때문에 간단한 구성으로 용이하게 사용자의 감정상태를 파악할 수 있도록 하는 효과가 있다.
또한, 본 발명에 따르면, 비접촉식 방식인 카메라를 사용하기 때문에 사용자에게 사용상의 불편함이 없이 용이하게 사용할 수 있도록 하는 효과가 있다.
이제, 도 1 이하의 도면을 참조하여, 본 발명에 따른 휴대용 단말기의 환경설정 변경 장치 및 그 방법을 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일실시예에 따른 휴대용 단말기의 환경설정 변경 장치의 구성도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 휴대용 단말기의 환경설정 변경 장치는, 카메라(110), 영상 입력부(112), 영상 분석부(114), 음성 입출력부(116), 단말 상태 제어부(118), 디스플레이부(120) 및 무선 통신부(122)를 포함한다.
여기에서, 카메라(110)는 영상을 촬영하여 촬영된 영상을 영상 입력부(112)로 출력한다.
그리고, 영상 입력부(112)는 카메라(110)로부터 입력된 영상을 디지털 신호로 변환하여 영상 분석부(114)로 전달한다.
그러면, 영상 분석부(114)는 영상 입력부(112)로부터 입력된 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 얼굴의 구성요소(눈, 눈썹, 코, 입 등)의 거리나 크기를 나타내는 파라미터를 추출하고, 추출된 파라미터를 기반으로 하여 얼굴의 구성요소(눈, 눈썹, 코, 입 등)의 특징 위치를 나타내는 특징점(feature point)를 추출한 후에, 추출된 특징점을 이용하여 사용자의 감정을 판단하여 판단된 사용자의 감정 상태를 단말 상태 제어부(118)로 출력한다.
여기에서, 영상 분석부(114)가 추출하는 파라미터의 일예를 도 2에 도시하고 있는데, 추출되는 파라미터는 이마의 폭(D1), 미간의 폭(D2), 눈썹과 눈 아래의 거리(D3), 눈 아래와 코 밑 부분의 거리(D4), 인중(D5), 입술의 폭(D6) 등이다.
영상 분석부(114)는 측정된 파라미터의 크기나 다른 파라미터들과의 비율등을 참조하여 눈, 눈썹, 코, 입등의 얼굴에서의 특정 위치를 나타내는 특징점을 추출할 수 있다.
그리고, 영상 분석부(114)는 추출된 특징점을 이용하여 얼굴에서의 눈, 눈썹, 코, 입 등의 변화를 검출하여 사용자의 감정 상태를 파악한다.
일예로 영상 분석부(114)는 추출된 특징점에 의해 파악된 입술의 폭이 통상적으로 요구되는 폭보다 작은 경우에 사용자의 감정 상태가 기쁜 상태에 있는 것으로 파악하며, 추출된 특징점에 의해 파악된 입술의 폭이 통상적으로 요구되는 폭보다 큰 경우에는 사용자의 감정 상태가 우울한 상태에 있는 것으로 판단할 수 있다
이처럼, 영상 분석부(114)는 추출된 특징점을 이용하여 사용자의 감정 상태를 판단할 수 있으며, 판단된 감정 상태를 크게 기쁨, 슬픔, 화남, 놀람, 혐오, 공 포 등으로 나눌 수 있다.
한편, 단말 상태 제어부(118)는 영상 분석부(114)로부터 수신한 사용자의 감정 상태 정보를 가지고 촬영한 영상의 배경이나 인물의 색감을 조정할 수 있다.
단말 상태 제어부(118)가 영상 분석부(114)에서 분석한 감정상태에 따라 배경이나 얼굴의 색감을 변경할 수 있는 일예가 아래 (표 1)에 나타나 있다.
(표 1)
감정 조정된 색감
기쁨 황색과 오렌지색의 조합
슬픔 청록색
화남 주황색
놀람 오렌지색과 빨간색의 조합
혐오 파란색
공포 보라색과 녹색의 조합
이와 같이, 단말 상태 제어부(118)에 의해 변경된 화면은 무선통신부(122)를 통하여 상대방에게 전달되거나, 디스플레이부(120)를 통해 사용자가 볼 수 있도록 디스플레이 된다.
한편, 음성 입출력부(116)는 마이크로부터 입력된 아날로그 데이터를 디지털로 변환하여 PCM 신호로 만들고, 음성 통화를 위해 코딩하여 무선 통신부(122)로 전달한다.
그리고, 무선 통신부(122)는 음성 통화용 오디오 데이터와 영상 데이터를 이동통신망을 거쳐 상대방 단말로 전송하거나 수신한다.
위의 설명에서 단말 상태 제어부(118)는 파악된 사용자의 감정 상태에 따라 촬영된 영상의 배경이나 인물의 색감을 변경하여 송출하도록 구현하였으나, 그 이외에 음성 입출력부(116)를 통하여 수신되는 사용자의 음성의 음량이나 음색 등을 사용자의 감정 상태를 반영하여 변화시켜 무선 통신부(122)를 통하여 상대방에게 전송할 수 있다.
도 3은 도 1의 영상 분석부의 상세 블록 구성을 포함하는 휴대용 단말기의 환경설정 변경 장치의 구성도이다.
도 3을 참조하면, 도 1의 영상 분석부는 얼굴 영역 검출기(210), 얼굴 영상 전처리기(212), 얼굴 공간 탐색기(214), 특징점 추출기(216), 감정 인식기(218)를 포함하고 있다.
여기에서, 얼굴 영역 검출기(210)는 촬영된 영상에서 얼굴 영역을 검출하여 출력한다.
이때, 얼굴 영역 검출기(210)가 촬영된 영상에서 얼굴 영역을 검출하기 위하여 이용하는 방법은 지형적 특징 추출에 기반한 방법, 형판 정합에 기반한 방법, 얼굴 색상 정보를 이용한 방법, 시간 정보를 이용한 방법, 에지 정보를 이용한 방법, 피부색을 이용한 방법 등이 있다.
그리고, 얼굴 영상 전처리기(212)는 검출된 얼굴 영역의 3차원 영상을 2차원 영상으로 변화시키거나, 얼굴 외의 부분을 제거하거나, 조명에 강인하도록 영상의 정규화를 수행한다. 이는 검출된 얼굴 영역에서 감정에 관련된 특징점을 추출하기 위한 선행하는 전처리 과정이다.
여기에서, 검출된 얼굴 영역에 대한 정규화 절차에는 얼굴 크기를 정규화하 거나 자세가 틀어진 얼굴에 대해서 자세를 똑바로 하는 자세 정규화를 포함할 수 있다.
이처럼, 얼굴 영상 전처리기(212)에서 크기 정규화가 필요한 이유는 입력 영상에서 검출된 얼굴 영상의 크기가 일정하지 않기 때문에, 특징 검출의 효율을 높이기 위해서 검출된 얼굴 영상의 크기를 일정하게 만드는 것이 필요하기 때문이다.
그리고, 얼굴 영상 전처리기(212)에서 자세 정규화는 얼굴이 회전(rotation in plane)되어 있는 경우에 밸리(valley)와 에지(edge) 정보를 사용하여 틸트각도를 얻어내어 얼굴자세를 똑바로 하여 수행한다.
다음으로, 얼굴 공간 탐색기(214)는 검출된 얼굴 영역에서 검출하고자 하는 파라미터, 즉 도 2에 도시된 바와 같이 이마의 폭(D1), 미간의 폭(D2), 눈썹과 눈 아래의 거리(D3), 눈 아래와 코 밑 부분의 거리(D4), 인중(D5), 입술의 폭(D6)의 크기를 파악한다.
이후에, 특징점 추출기(216)는 얼굴 공간 탐색에서 얻은 각 파라미터의 크기나 다른 파라미터들과의 비율을 통하여 눈, 눈썹, 코, 입등의 얼굴에서의 특정 위치를 나타내는 특징점을 추출할 수 있다. 여기서는 일반적으로 사용하는 히스토그램이나 필터링을 사용할 수 있다.
그리고, 감정 인식기(218)는 추출된 특징점을 이용하여 얼굴에서의 눈, 눈썹, 코, 입 등의 변화를 검출하여 사용자의 감정 상태를 파악한다.
일예로 감정 인식기(218)는 추출된 특징점에 의해 파악된 입술의 폭이 통상적으로 요구되는 폭보다 작은 경우에 사용자의 감정 상태가 기쁜 상태에 있는 것으 로 파악하며, 추출된 특징점에 의해 파악된 입술의 폭이 통상적으로 요구되는 폭보다 큰 경우에는 사용자의 감정 상태가 우울한 상태에 있는 것으로 판단할 수 있다
이처럼, 감정 인식기(218)는 특징점 추출기(216)에서 추출한 특징점을 이용하여 최소거리 분류방법이나 아이겐 페이스(eigen face)를 이용하여 감정을 인식하여 출력한다.
감정인식기(218)가 인식하는 감정은 일예로 기쁨, 슬픔, 화남, 놀람, 혐오, 공포 등으로 크게 나눌 수 있다.
이때, 감정인식기(218)는 미리 구축된 데이터베이스를 기반으로 학습한 특징점을 기반으로 6가지의 감정을 판단한다. 감정 인식기(218)은 구축된 데이터베이스를 이용하여 미리 6가지의 감정에 대해 클러스터링, 뉴로퍼지, 러프셋 등을 이용하여 학습할 수 있으며, 인식을 위해 유클리디안 거리를 기반으로 하는 알고리즘 등을 이용하여 얼굴에 대한 감정을 판단할 수 있다.
이처럼, 감정 인식기(218)는 사용자의 감정 상태가 파악되면, 파악된 사용자의 감정 상태를 단말 상태 제어부로 출력한다.
도 4는 본 발명의 바람직한 실시예에 따른 휴대용 단말기의 환경설정 변경방법의 흐름도이다.
도면을 참조하면, 단말 상태 제어부(118)는 감정 검출 작동 모드가 설정되었는지를 판단한다(단계 S110).
판단 결과, 감정 검출 작동 모드가 설정되어 있지 않으면 단말 상태 제어부(118)는 배경이나 인물 등에 기본 색감을 적용하고(음성의 경우에 음량이나 음성 에 기본값을 적용), 감정 검출 작동 모드가 설정되어 있으면 단말 상태 제어부(118)는 영상 분석부(114)로 사용자의 감정 상태를 파악하여 전송하도록 한다.
그러면, 영상 분석부(114)는 구비된 얼굴 영역 검출기(210)를 사용하여 사람의 감정을 판단하기에 앞서, 정확한 얼굴의 위치를 검출하고, 얼굴 영상 전처리기(212)를 사용하여 3차원 영상을 2차원 영상으로 변환하거나 얼굴 외의 부분을 제거하거나 조명에 강인하도록 영상의 정규화를 수행하여 얼굴을 검출한다(단계 S112). 물론, 이때 영상 분석부(114)가 촬영된 영상에서 얼굴 검출에 실패하면(얼굴이 촬영되지 않은 경우) 단말 상태 제어부(118)는 배경이나 인물 색감에 기본 색감을 적용한다(단계 S122).
이때, 얼굴 영역 검출기(210)가 정확한 얼굴의 위치를 파악하기 위하여 지형적 특징 추출에 기반한 방법, 형판 정합에 기반한 방법, 얼굴 색상 정보를 이용한 방법, 시간 정보를 이용한 방법, 에지 정보를 이용한 방법, 피부색을 이용한 방법 등을 사용가능하다.
그리고, 얼굴 영상 전처리기(212)는 얼굴 영역 검출기(210)에서 얼굴 영역이 검출되면, 3차원 공간을 2차원 공간으로 변환하거나, 얼굴 외의 부분을 제거하는 클러스트링을 수행하거나, 조명에 강인하도록 영상의 정규화를 실시한다.
이후에, 영상 분석부(114)는 구비된 얼굴 공간 탐색기(214)를 이용하여 검출된 얼굴 영역에서 특징점을 추출하기 위한 여러 가지 파라미터를 추출하고, 특징점 추출기(216)은 추출된 파라미터의 크기나 비율등을 고려하여 특징점을 추출한다(단계 S114). 물론, 얼굴 공간 탐색기(214)나 특징점 추출기(216)가 파라미터 추출이 나, 특징점 추출에 실패하는 경우에 단말 상태 제어부(118)는 배경이나 인물 색감에 기본 색감을 적용한다(단계 S122).
다음에, 영상 분석부(114)는 구비된 감정 인식기(218)를 이용하여 추출된 특징점에 따른 감정을 판단하여 단말 상태 제어부(118)로 전송한다(단계 S116).
이때, 감정인식기(218)가 감정 인식을 위해 사용할 수 있는 방법은 추출한 특징점 정보를 이용하여 최소거리 분류방법이나 아이겐 페이스(eigen face)를 이용하여 감정을 인식할 수 있으며, 인식하는 감정은 일예로 기쁨, 슬픔, 화남, 놀람, 혐오, 공포의 감정을 포함한다.
한편, 단말 상태 제어부(118)는 감정 인식기(218)로부터 파악된 감정을 입력받으면 입력받은 감정 상태에 따라 배경이나 인물의 색감을 변화시킨다(단계 S118).
일예로, 단말 상태 제어부(118)는 기쁜 상태인 경우에는 황색과 오렌지색을 가미하고, 슬픈 상태인경우에는 청록색을 가미하며, 화난 상태에 있는 경우에는 주황색을 가미하고, 놀란 상태인 경우에는 오렌지색과 빨간색을 가미하며, 혐오스러운 상태에 있는 경우에는 파란색을 가미하고, 공포스러운 상태에 있는 경우에는 보라색과 녹색을 가미할 수 있다.
한편, 감정 인식기(218)은 추출된 특징점의 변화가 있는지를 검출하여 변화가 있는 경우에 특징점에 따른 감정을 판단하는 과정 S116부터 반복수행하여 특징점의 변화가 배경이나 인물의 색감에 반영되도록 한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일실시예에 따른 휴대용 단말기의 환경설정 변경 장치의 구성도.
도 2는 도 1의 얼굴 공간 탐색기가 추출하는 파라미터를 보여주기 위한 예시도.
도 3은 도 1의 영상 분석부의 내부 블럭 구성을 포함한 휴대용 단말기의 환경설정 변경 장치의 구성도.
도 4는 본 발명의 바람직한 실시예에 따른 휴대용 단말기의 환경설정 변경방법의 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
110 : 카메라 112 : 영상 입력부
114 : 영상 분석부 116 : 음성 입출력부
118 : 단말 상태 제어부 120 : 디스플레이부
122 : 무선 통신부 210 : 얼굴 영역 검출기
212 : 얼굴 영상 전처리기 214 : 얼굴 공간 탐색기
216 : 특징점 추출기 218 : 감정 인식기

Claims (8)

  1. 카메라로부터 촬영된 영상을 입력받는 영상 입력부;
    상기 영상 입력부로부터 영상 데이터를 입력받아 사용자의 감정 상태를 파악하는 영상 분석부;
    상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 상기 카메라를 통하여 촬영한 영상의 색감을 변화시키는 단말 상태 제어부; 및
    상기 단말 상태 제어부에서 색감이 변화된 영상을 상대방에게 전송하는 무선통신부를 포함하여 이루어진 휴대용 단말기의 환경설정 변경 장치.
  2. 제 1 항에 있어서,
    사용자의 음성을 입력받는 음성 입출력부를 더 포함하며,
    상기 단말 상태 제어부는 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 상기 음성 입출력부를 통하여 입력된 사용자의 음성을 변화시키는 것을 특징으로 하는 휴대용 단말기의 환경설정 변경 장치.
  3. 제 1 항에 있어서,
    상기 단말 상태 제어부는 상기 영상 분석부에서 파악된 사용자의 감정 상태 에 따라 상기 카메라가 촬영한 영상의 배경 색감을 변화시키는 것을 특징으로 하는 휴대용 단말기의 환경 설정 변경 장치.
  4. 제 1 항에 있어서,
    상기 단말 상태 제어부는 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 상기 카메라가 촬영한 영상의 인물 색감을 변화시키는 것을 특징으로 하는 휴대용 단말기의 환경 설정 변경 장치.
  5. 제 1항 내지 제 4 항중 어느 한 항에 있어서,
    상기 영상 분석부는,
    상기 영상 입력부에서 입력된 영상에서 얼굴 영역을 검출하여 출력하는 얼굴 영역 검출기;
    상기 얼굴 영역 검출기에서 추출된 얼굴에서 얼굴의 구성요소의 위치나 비율을 결정하는 파라미터를 추출하여 출력하는 얼굴 공간 탐색기;
    상기 얼굴 공간 탐색기에서 추출한 파라미터를 이용하여 얼굴의 구성요소의 특징점을 추출하는 특징점 추출기; 및
    상기 특징점 추출기에서 추출된 특징점을 이용하여 사용자의 감정 상태를 판단하는 감정 인식기를 포함하여 이루어진 휴대용 단말기의 환경설정 변경 장치.
  6. (a) 영상 입력부가 카메라로부터 촬영된 영상을 입력받는 단계;
    (b) 영상 분석부가 상기 영상 입력부로부터 영상 데이터를 입력받아 사용자의 감정 상태를 파악하는 단계;
    (c) 단말상태 제어부가 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 상기 카메라를 통하여 촬영한 영상의 색감을 변화시키는 단계; 및
    (d) 무선 통신부가 상기 단말 상태 제어부에서 색감이 변화된 영상을 상대방에게 전송하는 단계를 포함하여 이루어진 휴대용 단말기의 환경설정 변경 방법.
  7. 제 6 항에 있어서,
    (e) 상기 단말 상태 제어부가 상기 영상 분석부에서 파악된 사용자의 감정 상태에 따라 음성 입출력부를 통하여 입력된 사용자의 음성을 변화시키는 단계; 및
    (f) 상기 무선통신부가 상기 단말 상태 제어부에서 변화된 사용자의 음성을 전송하는 단계를 포함하여 이루어진 휴대용 단말기의 환경설정 변경 방법.
  8. 제 6항 또는 제 7 항에 있어서,
    상기 (b)단계는,
    상기 영상 분석부에 구비된 얼굴 영역 검출기가 상기 영상 입력부에서 입력된 영상에서 얼굴 영역을 검출하여 출력하는 단계;
    상기 영상 분석부에 구비된 얼굴 공간 탐색기가 상기 얼굴 영역 검출기에서 추출된 얼굴에서 얼굴의 구성요소의 위치나 비율을 결정하는 파라미터를 추출하여 출력하는 단계;
    상기 영상 분석부에 구비된 특징점 추출기가 상기 얼굴 공간 탐색기에서 추출한 파라미터를 이용하여 얼굴의 구성요소의 특징점을 추출하는 단계; 및
    상기 영상 분석부에 구비된 감정 인식기가 상기 특징점 추출기에서 추출된 특징점을 이용하여 사용자의 감정 상태를 판단하는 단계를 포함하여 이루어진 휴대용 단말기의 환경설정 변경 방법.
KR1020080087463A 2008-09-04 2008-09-04 휴대용 단말기의 환경설정 변경 장치 및 그 방법 KR101009151B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080087463A KR101009151B1 (ko) 2008-09-04 2008-09-04 휴대용 단말기의 환경설정 변경 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080087463A KR101009151B1 (ko) 2008-09-04 2008-09-04 휴대용 단말기의 환경설정 변경 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100028428A KR20100028428A (ko) 2010-03-12
KR101009151B1 true KR101009151B1 (ko) 2011-01-18

Family

ID=42179113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080087463A KR101009151B1 (ko) 2008-09-04 2008-09-04 휴대용 단말기의 환경설정 변경 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101009151B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100629643B1 (ko) 2003-01-31 2006-09-29 가부시키가이샤 엔티티 도코모 얼굴 정보 전송 시스템
KR20060129582A (ko) * 2005-06-07 2006-12-18 주식회사 헬스피아 사용자의 감정 상태에 따라 단말기의 환경설정을 변경하는이동통신 단말기 및 그 변경방법
KR100662335B1 (ko) 2004-06-18 2007-01-02 엘지전자 주식회사 이동단말기 사용자의 감정 전달 및 표출 방법과, 그를위한 통신 시스템
KR20070041079A (ko) * 2005-10-14 2007-04-18 주식회사 팬택 휴대 단말기의 표시 색상 변경 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100629643B1 (ko) 2003-01-31 2006-09-29 가부시키가이샤 엔티티 도코모 얼굴 정보 전송 시스템
KR100662335B1 (ko) 2004-06-18 2007-01-02 엘지전자 주식회사 이동단말기 사용자의 감정 전달 및 표출 방법과, 그를위한 통신 시스템
KR20060129582A (ko) * 2005-06-07 2006-12-18 주식회사 헬스피아 사용자의 감정 상태에 따라 단말기의 환경설정을 변경하는이동통신 단말기 및 그 변경방법
KR20070041079A (ko) * 2005-10-14 2007-04-18 주식회사 팬택 휴대 단말기의 표시 색상 변경 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20100028428A (ko) 2010-03-12

Similar Documents

Publication Publication Date Title
CN104933344B (zh) 基于多生物特征模态的移动终端用户身份认证装置及方法
CN105825109B (zh) 一种终端解锁的方法及终端
JP7020626B2 (ja) メイクアップ評価システム及びその動作方法
Xu et al. Adaptive weighted fusion: a novel fusion approach for image classification
JP4294853B2 (ja) 操作指示装置
KR102045216B1 (ko) 인체 정보 분석장치 및 볼터치 분석 방법
US10423824B2 (en) Body information analysis apparatus and method of analyzing hand skin using same
EP3579176A1 (en) Makeup evaluation system and operation method thereof
JP3974109B2 (ja) カメラの入力映像を利用する端末機動作制御装置及びその方法
CN107846519A (zh) 用于基于手势的管理的***和方法
US10853624B2 (en) Apparatus and method
CN109451634B (zh) 基于手势控制电灯的方法及其智能电灯***
CN104408402A (zh) 人脸识别方法及装置
KR101952804B1 (ko) 감정인식 인터페이스 장치
CN112446832A (zh) 一种图像处理方法及电子设备
WO2011131150A1 (zh) 一种可视电话及其实现方法
CN108259746B (zh) 一种图像色彩检测方法及移动终端
CN103975291A (zh) 电子设备、信息处理方法及程序
WO2016197389A1 (zh) 一种用于检测活体对象的方法、装置和移动终端
JP5793493B2 (ja) クロマキーを用いたジェスチャ認識
KR20220068330A (ko) 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치
JP2010239499A (ja) 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム
CN117130469A (zh) 一种隔空手势识别方法、电子设备及芯片***
CN107613124A (zh) 智能设备的解锁方法、智能设备及存储介质
KR101009151B1 (ko) 휴대용 단말기의 환경설정 변경 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee