KR100659901B1 - 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기 - Google Patents

이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기 Download PDF

Info

Publication number
KR100659901B1
KR100659901B1 KR1020060035591A KR20060035591A KR100659901B1 KR 100659901 B1 KR100659901 B1 KR 100659901B1 KR 1020060035591 A KR1020060035591 A KR 1020060035591A KR 20060035591 A KR20060035591 A KR 20060035591A KR 100659901 B1 KR100659901 B1 KR 100659901B1
Authority
KR
South Korea
Prior art keywords
subject
avatar
movement
change value
motion
Prior art date
Application number
KR1020060035591A
Other languages
English (en)
Inventor
배희정
강태익
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060035591A priority Critical patent/KR100659901B1/ko
Application granted granted Critical
Publication of KR100659901B1 publication Critical patent/KR100659901B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 피사체를 촬영하는 카메라와, 화면에 표시될 아바타 및 해당 아바타의 움직임 동작을 설정하기 위해 획득된 피사체의 움직임 변화값을 저장하는 메모리와, 카메라에 의해 촬영된 피사체의 영상으로부터 피사체의 움직임 변화값을 획득하고 그 획득된 움직임 변화값에 상응하여 화면에 표시될 아바타의 동작을 제어하는 제어부를 포함하는 아바타 움직임 제어 기능이 구비된 이동 단말기를 제공한다.
본 발명에 의하면, 이동 통신 단말기와 같은 다양한 이동 단말기에서 다양하게 사용되는 아바타가 단순한 동작을 수행하는 것에 그치지 않고 사용자의 움직임에 동기화되어 사용자의 제스쳐에 반응하는 동작을 수행할 수 있음에 따라 다양한 흥미를 유발할 수 있다.
아바타, 이동 통신 단말기, 3차원, 영상처리, 동작, 실시간

Description

이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기{METHOD FOR CONTROLLING THE MOTION OF AVATAR ON MOBILE TERMINAL AND THE MOBILE THEREOF}
도 1은 본 발명의 일실시예에 따른 아바타 움직임 제어 기능이 구비된 이동 통신 단말기의 구성 블록도.
도 2는 도 1에서 움직임 변화값 획득부의 상세 구성 블록도.
도 3 내지 도 5는 본 발명의 일실시예에 따른 이동 통신 단말기의 아바타 움직임 제어 방법의 동작 흐름도.
<도면의 주요부분에 대한 부호의 설명>
100 : 이동 통신 단말기 110 : 메모리
120 : 제어부 121 : 촬영 처리부
122 : 화면 표시 처리부 123 : 움직임 변화값 획득부
123a : 얼굴 윤곽 추출부 123b : 특징점 추출부
123c : 움직임 추출부 124 : 움직임 제어 처리부
125 : 전송 처리부 130 : RF부
140 : 음성 처리부 150 : 스피커
160 : 마이크로폰 170 : 키입력부
180 : 표시부 190 : 카메라
본 발명은 이동 단말기의 아바타 움직임 제어에 관한 것으로, 보다 구체적으로는 이동 통신 단말기와 같은 이동 단말기에서 사용자의 움직임을 인식하여 사용자의 움직임에 따라 움직임 동작을 수행하는 아바타의 움직임을 제어하는 방법 및 그 이동 단말기에 관한 것이다.
이동 통신 단말기와 같은 다양한 이동 단말기에는 아바타와 같은 각종 아바타가 사용된다. 이러한 아바타는 각종 메뉴 및 통신을 위해 사용된다.
아바타는 가상 공간인 인터넷이나 이동 통신 환경에 존재하는 또 다른 자아를 나타내는 것으로서, 사람의 형상 뿐만 아니라 동물이나 식물 등 표현할 수 있는 모든 형태로의 변형이 가능한 존재이다.
이러한 아바타의 제작 및 이용은 사용자로 하여금 자신의 모습과 유사하며, 자신의 특징을 나타낼 수 있는 표현 도구로서, 사용자의 호기심이나 대리만족, 개인이 요구하는 이상적인 인물 등의 의미를 내포할 수 있다. 그에 따라, 사용자는 개인을 나타내는 아바타의 제작 및 이용에 많은 관심을 가지게 되었다.
이동 통신 단말기에도 각종 부가 서비스와 사용자의 흥미를 유발하기 위하여 이러한 아바타의 기술들이 다양하게 도입되어 있다. 일예로 2차원 아바타 뿐만 아 니라 입체감을 줄 수 있는 3차원 아바타가 이동 통신 단말기에 도입되어 사용자의 흥미를 유발하고 있다.
그러나, 종래의 이동 통신 단말기에서 사용되고 있는 3차원 아바타는 이동 통신 사업자나 컨텐츠 제공업체로부터 일률적으로 제공됨에 따라 수많은 사용자의 다양한 요구에 부응하는 아바타를 제공하는 것이 어렵다.
예를 들어, 종래의 이동 통신 단말기에서 재현될 수 있는 아바타의 동작은 초기 셋팅되어 있는 초기 데이터에 제한적으로 생성할 수 있다. 초기 데이터의 종류가 많을수록 재현될 수 있는 아바타의 동작의 수는 늘어날 수 있지만, 이동 통신 단말기의 메모리 한계로 인하여 극히 제한적일 수 있다.
이를 극복하기 위하여, 웹을 통하여 동작데이터를 다운로드 받아 사용자가 원하는 동작으로 셋팅할 수 있으나, 이것은 그 사용료와 함께 추가 작업을 필요로 하여 사용자들에게 경제적인 부담과 함께 번거로움을 가져올 수 있다.
무엇보다, 제한적인 동작으로 인하여 사용자들의 흥미가 저조하여, 그 이용률이 낮아질 수 있다.
본 발명이 이루고자 하는 기술적 과제는 이동 통신 단말기와 같은 이동 단말기에서 사용되는 3차원 아바타와 같은 아바타가 사용자의 움직임에 동기화하여 다양한 동작을 수행하게 하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 사용자의 움직임에 동기화된 아바타의 동작 변화를 적용하여 이동 통신 단말기와 같은 이동 단말기의 부가 서비스를 개선하는 데 있다.
이러한 기술적 과제를 달성하기 위한 본 발명의 일측면에 의하면, 피사체를 촬영하는 제 1 단계와, 상기 촬영된 피사체의 영상에서 피사체의 움직임 변화값을 획득하는 제 2 단계와, 상기 획득된 피사체의 움직임 변화값에 상응하여 화면에 표시될 아바타의 동작을 제어하는 제 3 단계를 포함하는 이동 단말기의 아바타 움직임 제어 방법을 제공한다.
상기 제 3 단계는, 상기 움직임 변화값에 따라 아바타의 동작을 매핑하여 피사체의 움직임에 동기화된 움직임을 가지는 아바타를 화면에 표시하는 것을 특징으로 한다.
이동 단말기에서 사용되는 각종 아바타에 피사체의 움직임 변화값을 매핑함으로써 촬영된 피사체의 동작에 동기화하여 움직이는 다양한 동작을 가지는 아바타를 표시할 수 있다.
여기에서 상기 피사체의 움직임 변화값은, 삼각형 기법을 이용하여 사람 얼굴에서 선택된 세 지점으로 구성된 삼각형의 깊이 변화로부터 획득되는 사람 얼굴의 움직임 변화값인 것을 특징으로 한다.
이에 따라, 이동 단말기의 앞에 서 있는 사람이 상체를 양 옆으로 흔들거나 앞으로 숙이면 이동 단말기에서도 사람이 양 옆으로 흔들거나 앞으로 숙이는 움직 임 동작을 인식하여 그에 따라 아바타의 동작을 동기화시킬 수 있다.
사용자는 자신의 움직임에 따라 생성된 움직임 변화값을 이동 단말기의 메모리에 저장된 아바타의 동작에 설정함으로써 화면을 통해 자신의 움직임에 따라 가변되는 아바타를 보면서 친근한 정감을 느낄 수 있다.
또한, 삼각형 기법을 이용하여 사람 얼굴의 움직임을 인식함으로써 연산량을 줄이면서도 효과적으로 사람 얼굴의 움직임 정보를 획득할 수 있게 된다.
본 발명의 일측면에 의한 이동 단말기의 아바타 움직임 제어 방법은 상기 제 2 단계에 의해 획득된 피사체의 움직임 변화값을 네트워크를 통해 임의의 통신 단말기에 전송하는 제 4 단계를 더 포함하며, 상기 피사체의 움직임 변화값에 의해 해당 통신 단말기에 저장된 아바타가 피사체의 움직임에 동기화된 움직임을 가지고 표시되게 할 수 있다.
피사체의 움직임 변화값을 상대방 통신 단말기에 전송하여 그 움직임 변화값에 의해 상대방 통신 단말기에 저장된 아바타의 동작을 설정할 수 있음에 따라, 상대방 통신 단말기의 사용자에게 이동 단말기에 의해 촬영된 피사체의 움직임을 보여줄 수 있는 서비스를 제공할 수 있다.
본 발명의 다른 측면에 의하면, 피사체를 촬영하는 카메라와, 화면에 표시될 아바타 및 해당 아바타의 움직임 동작을 설정하기 위해 획득된 피사체의 움직임 변화값을 저장하는 메모리와, 상기 카메라에 의해 촬영된 피사체의 영상으로부터 피사체의 움직임 변화값을 획득하고 그 획득된 움직임 변화값에 상응하여 화면에 표시될 아바타의 동작을 제어하는 제어부를 포함하는 아바타 움직임 제어 기능이 구 비된 이동 단말기를 제공한다.
카메라를 통해 촬영된 피사체의 동작을 인식하여 피사체의 움직임 변화값을 획득하고, 그 움직임 변화값을 이동 단말기의 메모리에 저장되어 사용되는 각종 아바타의 동작에 매핑시킬 수 있음에 따라, 이동 단말기는 각종 아바타에 동적 움직임을 제공할 수 있다.
상기 제어부는, 촬영 명령에 따라 상기 카메라를 통해 입력된 피사체를 촬영하여 상기 메모리에 저장하는 촬영 처리부와, 설정된 움직임 동작을 수행하는 아바타를 화면에 표시하는 화면 표시 처리부와, 상기 촬영 처리부에 의해 촬영된 피사체의 영상에서 피사체의 움직임 변화값을 획득하는 움직임 변화값 획득부와, 상기 움직임 변화값에 따라 아바타의 동작을 매핑하여 피사체의 움직임에 동기화된 움직임을 상기 아바타에 설정하는 움직임 제어 처리부를 포함할 수 있다.
상기 움직임 변화값 획득부는, 삼각형 기법을 이용하여 상기 사람 얼굴에서 선택된 세 지점으로 구성된 삼각형의 깊이 변화로부터 상기 움직임 변화값을 획득할 수 있다.
상기 제어부는, 상기 움직임 변화값 획득부에 의해 획득된 피사체의 움직임 변화값을 네트워크를 통해 임의의 통신 단말기에 전송하는 전송 처리부를 더 포함하며, 상기 피사체의 움직임 변화값에 의해 해당 통신 단말기에 저장된 아바타가 피사체의 움직임에 동기화된 움직임을 가지고 표시되게 할 수 있다.
본 발명의 또 다른 측면에 의하면, 임의의 통신 단말기에 의해 촬영된 피사체의 영상으로부터 획득된 피사체의 움직임 변화값을 해당 통신 단말기로부터 수신 하는 단계와, 상기 수신된 움직임 변화값에 따라 화면에 표시될 아바타의 동작을 매핑하여 상기 피사체의 움직임에 동기화된 움직임을 가지는 아바타를 화면에 표시하는 단계를 포함하는 이동 단말기의 아바타 움직임 제어 방법을 제공한다.
본 발명의 또 다른 측면에 의하면, 임의의 통신 단말기에 의해 촬영된 피사체의 영상으로부터 획득된 피사체의 움직임 변화값을 해당 통신 단말기로부터 수신하기 위한 무선 통신을 수행하는 RF부와, 화면에 표시될 아바타 및 상기 RF부를 통해 수신된 상기 피사체의 움직임 변화값을 저장하는 메모리와, 상기 움직임 변화값에 따라 화면에 표시될 아바타의 동작을 매핑하여 상기 피사체의 움직임에 동기화된 움직임을 가지는 아바타를 화면에 표시하는 제어부를 포함하는 아바타 움직임 제어 기능이 구비된 이동 단말기를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 이동 통신 단말기의 아바타 움직임 제어 방법 및 이를 위한 이동 통신 단말기를 설명하도록 한다.
도 1은 본 발명의 일실시예에 따른 아바타 움직임 제어 기능이 구비된 이동 통신 단말기의 구성 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 아바타 움직임 제어 기능이 구비된 이동 통신 단말기는 아바타 움직임 서비스를 수행하기 위한 절차가 프로그래밍된 프로그램을 저장하고 있는 메모리(110)와, 그 메모리(110)에 저장된 프로그램을 읽어들여 해당 프로그램에 프로그래밍된 절차를 수행하여 촬영된 얼굴 영상으로부터 움직임 변화값을 획득하고 획득된 움직임 변화값에 의거하여 아바타의 움직임을 제어하는 제어부(120)와, RF부(130)와, 음성 처리부(140)와, 스피커(150)와, 마 이크로폰(160)과, 키입력부(170)와, 표시부(180)와, 카메라(190)를 포함하여 구성된다.
메모리(110)에는 제어부(120)의 동작 프로그램, 시스템 프로그램이 저장되며, 동작 프로그램이나 시스템 프로그램은 통상 포함된 롬(ROM) 영역에 저장되고 필요에 의해 소거가 가능하다. 전기적으로 소거 가능한 롬으로는 이이피롬(EEPROM), 플래시 메모리 등이 있다. 그리고, 메모리(110)는 또한 여러 동작 프로그램 수행 중에 발생하는 데이터를 일시 저장하는 램(RAM)을 포함한다.
아울러, 메모리(110)는 아바타의 움직임 동작을 설정하는데 필요한 프로그램과, 카메라(190)를 통해 촬영된 얼굴 영상, 그 촬영된 얼굴 영상으로부터 획득된 움직임 변화값을 저장한다.
또한, 메모리(110)는 RF부(130)를 통해 임의의 통신 단말기에 의해 촬영된 피사체의 영상으로부터 획득된 피사체의 움직임 변화값을 해당 통신 단말기로부터 수신하여 저장할 수 도 있다.
제어부(120)는 이동 통신 단말기의 전반적인 동작을 제어함과 동시에, 본 발명에 따른 이동 통신 단말기에서의 아바타 서비스를 수행할 때 전체적인 절차에 대한 제어를 수행하게 된다. 그리고, 구비되는 각종 구성들의 제어를 이루게 된다.
제어부(120)는 카메라(190)에 의해 촬영된 얼굴 영상으로부터 움직임 변화값을 획득하여 메모리(110)에 저장되어 있는 3차원 개인 캐릭터에 움직임 동작을 설정하여 화면에 표시한다.
이를 위해 제어부(120)는 촬영 처리부(121)와 화면 표시 처리부(122)와 움직 임 변화값 획득부(123)와 움직임 제어 처리부(124)와 전송 처리부(125)를 포함하여 구성된다.
촬영 처리부(121)는 키입력부(170)를 통한 촬영 명령에 따라 카메라(190)를 통해 입력된 사람 얼굴을 촬영하여 얼굴 영상의 움직임 변화값을 획득하기 위하여 메모리(110)에 저장한다.
이때, 촬영 처리부(121)는 사용자에 의해 촬영 대상의 얼굴에 조준된 상태에서 촬영을 명령하는 키입력부(170)의 조작이 이루어지면 표시부(180)에 표시된 영상을 메모리(110)에 저장한다.
화면 표시 처리부(122)는 아바타의 움직임 서비스를 수행하기 위한 일련의 절차에 필요한 각종 화면을 표시부(180)에 표시한다.
아울러, 화면 표시 처리부(122)는 움직임 제어 처리부(124)에 의해 설정된 동작을 수행하도록 아바타를 화면에 표시한다.
움직임 변화값 획득부(123)는 삼각형 기법을 이용하여 사람 얼굴에서 선택된 세 지점으로 구성된 삼각형의 깊이 변화로부터 움직임 변화값을 획득한다.
움직임 변화값 획득부(123)는 양쪽 눈과 코의 위치 좌표를 획득하여 양쪽눈과 코의 위치 좌표를 꼭지점으로 하는 삼각형을 설정하고, 삼각형 기법에 의하여 양쪽 눈과 코의 삼각형의 깊이를 측정하여 깊이(depth) 변화값을 산출한다.
여기에서 삼각형의 깊이는 삼각형의 크기가 가장 클 때 가장 큰 깊이를 가지며, 삼각형의 크기가 가장 작게 될 때 가장 작은 깊이를 가지는 것으로 한다.
움직임 제어 처리부(124)는 움직임 변화값 획득부(123)에 의해 산출된 삼각 형의 깊이 변화에 따라 얼굴 움직임을 인식하여 그에 따른 움직임 변화값을 획득한다.
움직임 제어 처리부(124)는 획득된 움직임 변화값을 메모리(110)에 저장된 아바타에 설정하여 해당 아바타가 사람의 움직임에 상응하여 변화되도록 할 수 있다.
이때, 움직임 제어 처리부(124)는 실시간으로 획득되는 움직임 변화값을 아바타에 설정하여 화면 표시 처리부(122)를 통해 표시부(180)에 표시함으로써 아바타가 실시간으로 움직이는 동작을 가질 수 있도록 한다.
전송 처리부(125)는 움직임 제어 처리부(124)에 의해 획득된 움직임 변화값을 RF부(130)를 통하여 상대방 통신 단말기에 전송한다. 전송 처리부(125)는 움직임 제어 처리부(124)에 의해 피사체의 움직임에 동기화하여 획득된 움직임 변화값을 실시간으로 상대방 통신 단말기에 전송한다.
이에 따라, 상대방 통신 단말기는 그 전송된 움직임 변화값에 의해 상대방 통신 단말기에 미리 저장된 아바타의 동작을 설정하여 움직이는 동작을 수행할 수 있게 한다.
RF부(130)는 제어부(120)에 의해 제어된다. RF부(130)는 주파수 대역의 무선 채널로 수신되는 주파수의 신호를 안테나(ANT)를 통해 수신되면, 이를 대역 하강 변환하고 데이터의 종류를 구별하여 제어부(120)로 출력하거나 또는 음성 처리부(140)로 출력한다.
또한, RF부(130)는 임의의 통신 단말기에 의해 촬영된 피사체의 영상으로부 터 획득된 피사체의 움직임 변화값을 해당 통신 단말기로부터 수신하면 이를 메모리(110)에 저장한다.
또한 RF부(130)는 제어부(120)로부터 수신되는 데이터 또는 음성 처리부(140)로부터 수신되는 코드화된 음성 데이터를 송신하기 위해 대역 상승 변환하여 안테나(ANT)를 통해 주파수 대역의 무선 신호로 변환하여 출력한다.
아울러, RF부(130)는 제어부(120)에 의해 획득된 피사체의 움직임 변화값을 다른 통신 단말기에 전송하기도 한다.
음성 처리부(140)는 일반적으로 보코더(VOCODER) 등으로 구성되며, 제어부(120)의 제어에 의해 구동된다. 음성 처리부(140)는 마이크로폰(MIC)(160)에 의해 입력된 전기 신호를 변조하여 음성 데이터로 변환하고, RF부(130)로 출력한다. 또한, 음성 처리부(140)는 RF부(130)로부터 입력된 부호화된 음성 데이터를 전기 신호로 복조하여 스피커(SPK)(150)로 출력하고, 스피커(SPK)(150)는 이를 가청음으로 변환하여 출력한다.
키입력부(170)는 일반적으로 키 매트릭스 구조로 구성이 된다. 키입력부(170)는 다수의 숫자 키와 방향키와 각종 기능을 수행하기 위한 기능키로 이루어지며, 사용자의 키 입력에 의해 키 데이터의 전기적인 신호를 제어부(120)로 출력한다.
표시부(180)는 단말기의 현재 상태를 표시하거나 프로그램의 진행 상황 변화를 표시한다. 또한 수신 단문 메시지 등을 표시한다. 이런 표시 장치는 액정 표시 장치(Liquid Crystal Display : LCD)등과 같은 표시 장치로 구성할 수 있다.
카메라(190)는 고체 촬상 소자(CCD) 또는 CMOS 이미지 센서(CIS)와 같은 반도체 이미지 센서, 연성회로기판(FPCB), 카메라용 렌즈, 적어도 하나 이상의 플래시 등과 같은 디지털 카메라의 부품을 구비하여, 제어부(120)의 제어 신호에 따라 외부의 대상을 촬영하여 영상 데이터를 획득하는 동작을 수행한다.
도 2는 도 1에 도시된 움직임 변화값 획득부의 상세 구성 블록도이다.
도 2를 참조하면 움직임 변화값 획득부(123)는 얼굴 윤곽 추출부(123a)와, 특징점 추출부(123b)와, 움직임 추출부(123c)를 포함하여 구성된다.
얼굴 윤곽 추출부(123a)는 촬영된 얼굴 영상으로부터 얼굴 윤곽을 추출한다. 촬영된 얼굴 영상으로부터 얼굴 윤곽을 추출하는 기술에 대하여는 이미 많은 기술들이 공지되어 있다.
특징점 추출부(123b)는 얼굴 윤곽 추출부(123a)에 의해 추출된 얼굴 윤곽을 이용하여 양쪽 눈과 코의 특징점 좌표를 추출해낸다. 얼굴 윤곽으로부터 특정 부분의 좌표를 추출해내는 기술에 대하여는 이미 많은 기술들이 공지되어 있다.
특징점 추출부(123b)에 의해 특징점 좌표가 추출되면 움직임 추출부(123c)는 추출된 특징점 좌표로 이루어지는 삼각형을 자동으로 캘리브레이션한다.
이하에서는 양쪽 눈과 코의 특징점 좌표로 이루어지는 삼각형을 특징 삼각형(feature triangle)이라고 칭하도록 한다.
이때, 캘리브레이션 처리는 특징 삼각형의 깊이 변화로 과정을 단순화하도록 한다. 이때, 각 영상 프레임에 포함된 사람의 얼굴은 동일한 크기로 취득할 수 있으며, 양쪽 눈과 코의 특징점 좌표로 이루어지는 특징 삼각형의 크기도 동일하다고 가정할 수 있다.
따라서, 각 영상 프레임에 대하여 캘리브레이션을 수행한 다음 최대 경사법(steepest-descent)을 이용하여 각 영상 프레임에서 특징 삼각형의 움직임을 추정한다.
여기에서 특징 삼각형의 움직임은 특징 삼각형의 깊이변화로 판단할 수 있다. 즉, 피사체가 이동 통신 단말기의 카메라 정면에 위치한 상태에서 정면을 응시하고 있으면 특징 삼각형은 최대의 크기를 가지며 최대 깊이를 가지게 된다.
한편, 피사체가 정면을 응시한 상태에서 점점 오른쪽으로 고개를 돌리게 되면 특징 삼각형은 크기는 점점 축소되어 그 깊이가 작아진다.
또한, 피사체가 정면을 응시한 상태에서 점점 상향으로 고개를 들면 특징 삼각형의 법선벡터는 상향 방향을 가지면서 삼각형의 크기가 점점 축소되어 그 깊이가 작아진다.
즉, 이전 영상 프레임과 현재 영상 프레임에서 획득되는 삼각형의 크기와 방향 변화를 통해 특징 삼각형의 움직임을 추정할 수 있다.
한편, 움직임 추출부(123c)에서 각 영상 프레임 시퀀스간의 특징점의 좌표를 획득하는데 있어서 프레임간의 오차가 발생할 수 있는데, 각 프레임간에 발생할 수 있는 오차는 허용치 이내이어야 한다.
이를 위해 움직임 추출부(123c)는 특징점 추출부(123b)에 의해 특징점 좌표가 추출되면 이전 영상 프레임에서 추출된 양쪽 눈과 코의 특징점 좌표를 이용하여 자동 캘리브레이션을 수행하여 카메라의 내부 파라미터 및 외부 파라미터를 추출한 다.
즉, 카메라를 통해 연속적으로 촬영되어 생성된 사람 얼굴의 영상 시퀀스로부터 이전 영상 프레임에서의 특징점 좌표와 현재 영상 프레임에서의 특징점 좌표들은 메트릭 투영 행렬에 해당하는 얼굴의 움직임과 삼각형 구조에 해당하는 특성을 가진다.
따라서, 이전 영상 프레임과 현재 영상 프레임에서 추출된 특징점의 좌표들을 에피폴라 기하학을 이용하여 투사 복원한 뒤에 자동 캘리브레이션을 수행한다.
이때, 자동 캘리브레이션은 절대 이차 방정식(absolute dual quadric)기법을 이용하여 수행할 수 있다.
자동 캘리브레이션을 수행한 후 캘리브레이션 결과를 이용하여 메트릭 복원을 수행하면 카메라의 내부 파라미터 및 외부 파라미터를 추출할 수 있다.
움직임 추출부(123c)는 추출된 카메라의 내부 파라미터 및 외부 파라미터를 이용하여 변환 오차가 임계치내에 있는지 여부를 판단할 수 있다.
도 3 내지 도 5는 본 발명의 일실시예에 따른 이동 통신 단말기의 아바타 움직임 제어 방법의 동작 흐름도이다.
도 3 내지 도 5를 참조하면 메모리(110)는 화면에 표시될 아바타를 저장하고 있다(S1). 메모리(110)에 저장되어 있는 아바타는 예를 들어 3차원 아바타일 수 있다.
메모리(110)에 아바타가 저장된 상태에서 촬영 처리부(121)는 사용자에 의해 아바타 서비스 메뉴가 실행되면 카메라(190)를 구동하여 촬영모드를 실행한다(S2).
촬영 처리부(121)에 의해 촬영 모드가 실행되면 화면 표시 처리부(126)는 표시부(180)에 카메라(190)를 통해 입력되는 촬영 대상의 얼굴 영상을 표시함과 아울러 최초 영상의 특징점을 추출하고 있음을 안내하는 메시지를 얼굴 영상위에 오버레이하여 표시한다(S3).
표시부(180)에 영상의 특징점 추출중이라는 안내 메시지가 표시된 상태에서 얼굴 윤곽 추출부(123a)는 촬영된 얼굴 영상으로부터 얼굴 윤곽을 추출한다(S4). 특징점 추출부(123b)는 얼굴 윤곽 추출부(123a)에 의해 추출된 얼굴 윤곽을 이용하여 양쪽 눈과 코의 특징점 좌표를 추출해낸다(S5).
특징점 추출부(123b)에 의해 특징점 좌표가 추출되면 움직임 추출부(123c)는 추출된 특징점 좌표로 이루어지는 삼각형을 자동으로 캘리브레이션한다(S6).
움직임 추출부(123c)는 자동 캘리브레이션을 통해 삼각형의 크기와 카메라의 내부 파라미터 및 외부 파라미터를 추출하여 메모리(110)에 저장한다(S7).
움직임 추출부(123c)에 의해 자동 캘리브레이션이 이루어지면 화면 표시 처리부(122)는 메모리(110)에 저장되어 있는 아바타를 표시부(180)에 표시한다(S8). 이때 표시되는 아바타는 디폴트 설정에 의해 정면을 바라보고 있는 형태로 표시된다.
표시부(180)에 디폴트로 아바타가 표시된 상태에서 얼굴 윤곽 추출부(123a)는 촬영된 얼굴 영상으로부터 얼굴 윤곽을 추출한다(S9). 특징점 추출부(123b)는 얼굴 윤곽 추출부(123a)에 의해 추출된 얼굴 윤곽을 이용하여 양쪽 눈과 코의 특징점 좌표를 추출해낸다(S10).
특징점 추출부(123b)에 의해 특징점 좌표가 추출되면 움직임 추출부(123c)는 추출된 특징점 좌표로 이루어지는 삼각형을 자동으로 캘리브레이션한다(S11).
움직임 추출부(123c)는 자동 캘리브레이션을 통해 삼각형의 크기와 카메라의 내부 파라미터 및 외부 파라미터를 추출하여 메모리(110)에 저장한다(S12).
움직임 추출부(123c)는 이전 프레임과 현재 프레임에서 얻어지는 삼각형의 크기와 방향 변화를 통해 특징 삼각형의 깊이 변화를 산출한다(S13).
움직임 제어 처리부(124)는 움직임 변화값 획득부(123)에 의해 산출된 삼각형의 깊이 변화에 따라 얼굴 움직임을 인식하여 그에 따른 움직임 변화값을 획득한다(S14).
움직임 제어 처리부(124)는 동작 모드가 표시모드인지를 판단한다(S15). 판단 결과 표시모드인 경우 움직임 제어 처리부(124)는 획득된 움직임 변화값을 메모리(110)에 저장된 아바타에 설정한다(S16).
화면 표시 처리부(122)는 움직임 제어 처리부(124)에 의해 획득된 움직임 변화값이 움직임 동작에 매핑된 아바타를 표시부(180)에 표시한다(S17). 움직임 제어 처리부(124)에 의해 획득된 움직임 변화값이 실시간으로 변함에 따라 해당 움직임 변화값이 움직임 동작에 설정된 아바타가 실시간으로 움직이는 동작을 가지게 된다.
한편, 움직임 제어 처리부(124)는 동작 모드가 표시모드가 아닌 경우 생성된 움직임 변화값을 메모리(110)에 저장한다(S18).
이에 따라 전송 처리부(125)는 메모리(110)에 저장된 움직임 변화값을 네트 워크를 통해 연결된 임의의 통신 단말기에 전송한다(S19). 전송 처리부(125)를 통해 해당 통신 단말기에 전송된 움직임 변화값은 해당 통신 단말기에 저장된 아바타가 움직이는 동작을 수행하게 하는데 사용된다.
본 발명은 바람직한 실시예를 참조하여 설명되었다. 그렇지만, 구체적으로 설명된 것과는 다른 많은 기타 실시예들이 또한 본 발명의 사상 및 범위 내에 들어간다는 것을 관련 분야의 당업자들은 이해할 것이다.
예를 들어, 본 발명의 실시예에서는 피사체를 촬영하여 획득된 피사체의 움직임 변화값을 네트워크를 통해 연결된 임의의 통신 단말기에 전송하여, 그 움직임 변화값에 의해 해당 통신 단말기에 저장된 임의의 아바타가 움직임 동작을 수행할 수 있게 하였지만, 변형예에서는 임의의 통신 단말기에 의해 촬영된 피사체의 영상으로부터 획득된 피사체의 움직임 변화값을 해당 통신 단말기로부터 수신하기 위한 무선 통신을 수행하는 RF부와, 화면에 표시될 아바타 및 RF부를 통해 수신된 피사체의 움직임 변화값을 저장하는 메모리와, 그 움직임 변화값에 따라 화면에 표시될 아바타의 동작을 매핑하여 피사체의 움직임에 동기화된 움직임을 가지는 아바타를 화면에 표시하는 제어부를 포함할 수 있다.
이러한 이동 단말기에서는 임의의 통신 단말기에 의해 촬영된 피사체의 영상으로부터 획득된 피사체의 움직임 변화값을 해당 통신 단말기로부터 수신하면, 그 수신된 움직임 변화값에 따라 화면에 표시될 아바타의 동작을 매핑하여 피사체의 움직임에 동기화된 움직임을 가지는 아바타를 화면에 표시할 수 있다.
이러한 서비스는 화상 통화시에 통화 상대방의 영상 대신에 메모리에 저장되 어 있는 아바타를 화면에 표시하고, 상대방의 움직임에 따라 그 아바타게 움직이게 함으로써 실제 인물을 대면하면서 통화하게 하는 것 같은 효과를 낼 수 있게 된다.
또한, 본 발명의 일실시예에서는 아바타를 이동 단말기에 표시하는 것에 대하여 설명하였는데, 여기에서 아바타는 일차적으로 사람 또는 동물의 형상을 지닌 이미지 뿐만 아니라, 그외에 다양한 객체(책상, 건물, 깡통 로보트, 전화기 형상)의 표현 이미지(expression image)를 포함할 수 있으며, 이에 따라 다양한 객체의 이미지를 화면에 표시하고 피사체의 움직임에 따라 그 객체의 움직임을 바꾸는 경우에도 얼마든지 변형하여 실시할 수 있을 것이다.
또한, 본 발명의 일실시예에서는 피사체의 움직임 변화값을 획득할 때 사람 얼굴의 움직임으로부터 피사체의 움직임 변화값을 획득하는 것에 대하여 설명하였으나, 사람의 얼굴 움직임외에도 어깨 또는 팔 등 신체 일부의 움직임 변화를 인식하여 피사체의 움직임 변화값을 획득하도록 다양하게 변형가능할 것이다.
본 발명에 의하면, 이동 통신 단말기와 같은 다양한 이동 단말기에 내장된 다양한 아바타가 미리 설정된 한정된 종류의 단순한 동작을 수행하는 것에 그치지 않고 사용자의 움직임에 동기화되어 사용자의 제스쳐에 반응하는 동작을 수행할 수 있음에 따라 흥미를 유발할 수 있고 더 나아가 새로운 "친구" 개념으로 만들어 줄 수 있다.
즉, 대기화면, 화상통화, 뮤직폰의 각종 콘텐츠 적용되어 이동 통신 단말기 를 사용자의 이동 통신 단말기 조작에 일체화된 "우리"라는 동질감을 생성시킬 수 있다.
또한, 3차원 아바타 도움말 기능, 음악과 연동된 아바타, 화상 통화용 아바타 등에 활용되어 직관적인 3차원 아바타 동작을 생성할 수 있다.
예를 들어 이동 통신 단말기와 같은 이동 단말기의 대기 화면에 표시되는 3차원 아바타 기능에 적용할 경우 사용자의 움직임에 동기화되어 사용자의 제스쳐에 반응하는 아바타의 동작을 생성할 수 있다. 즉, 사용자가 얼굴을 상하 좌우 등으로 움직이면 단말기에 내장된 아바타가 동일하게 움직일 수 있다.
또한, 화상 전화기에서 실제 사용자가 본인의 얼굴이 직접적으로 알려지는 것을 원하지 않을 경우, 3차원 아바타를 사용할 수 있는데, 이때에, 사용자의 움직임을 아바타에 적용시켜 실감나는 화상통화를 할 수 있다.
또한, 뮤직폰에 적용되는 뮤직 콘텐츠에도 적용될 수 있다. 즉, 뮤직의 비트에 맞추어 사용자의 얼굴 움직임을 동기화할 수 있어, 뮤직 빠르기, 장르 등에 특화될 수 있는 개인 콘텐츠를 실시간으로 만들 수 있다.
이러한 항목들로 만들어진 동작들은 이동 단말기에 내장된 3차원 아바타와 함께 다른 통신 단말기의 사용자에게 전송될 수 있음에 따라 개인의 개성에 특화된 콘텐츠의 공유 및 가시화를 이룰 수 있으며 사용자들에게 새로운 개념의 흥미를 유발할 수 있다.

Claims (10)

  1. 피사체를 촬영하는 제 1 단계와,
    상기 촬영된 피사체의 영상에서 피사체의 움직임 변화값을 획득하는 제 2 단계와,
    상기 획득된 피사체의 움직임 변화값에 상응하여 화면에 표시될 아바타의 동작을 제어하는 제 3 단계를 포함하는 이동 단말기의 아바타 움직임 제어 방법.
  2. 청구항 1에 있어서, 상기 제 3 단계는,
    상기 움직임 변화값에 따라 아바타의 동작을 매핑하여 피사체의 움직임에 동기화된 움직임을 가지는 아바타를 화면에 표시하는 것을 특징으로 하는 이동 단말기의 아바타 움직임 제어 방법.
  3. 청구항 1에 있어서, 상기 피사체의 움직임 변화값은,
    삼각형 기법을 이용하여 사람 얼굴에서 선택된 세 지점으로 구성된 삼각형의 깊이 변화로부터 획득되는 사람 얼굴의 움직임 변화값인 것을 특징으로 하는 이동 단말기의 아바타 움직임 제어 방법.
  4. 청구항 1에 있어서,
    상기 제 2 단계에 의해 획득된 피사체의 움직임 변화값을 네트워크를 통해 임의의 통신 단말기에 전송하는 제 4 단계를 더 포함하며,
    상기 피사체의 움직임 변화값에 의해 해당 통신 단말기에 저장된 아바타가 피사체의 움직임에 동기화된 움직임을 가지고 표시되는 것을 특징으로 하는 이동 단말기의 아바타 움직임 제어 방법.
  5. 피사체를 촬영하는 카메라와,
    화면에 표시될 아바타 및 해당 아바타의 움직임 동작을 설정하기 위해 획득된 피사체의 움직임 변화값을 저장하는 메모리와,
    상기 카메라에 의해 촬영된 피사체의 영상으로부터 피사체의 움직임 변화값을 획득하고 그 획득된 움직임 변화값에 상응하여 화면에 표시될 아바타의 동작을 제어하는 제어부를 포함하는 아바타 움직임 제어 기능이 구비된 이동 단말기.
  6. 청구항 5에 있어서, 상기 제어부는,
    촬영 명령에 따라 상기 카메라를 통해 입력된 피사체를 촬영하여 상기 메모리에 저장하는 촬영 처리부와,
    설정된 움직임 동작을 수행하는 아바타를 화면에 표시하는 화면 표시 처리부와,
    상기 촬영 처리부에 의해 촬영된 피사체의 영상에서 피사체의 움직임 변화값을 획득하는 움직임 변화값 획득부와,
    상기 움직임 변화값에 따라 아바타의 동작을 매핑하여 피사체의 움직임에 동기화된 움직임을 상기 아바타에 설정하는 움직임 제어 처리부를 포함하는 것을 특징으로 하는 아바타 움직임 제어 기능이 구비된 이동 단말기.
  7. 청구항 6에 있어서, 상기 움직임 변화값 획득부는,
    삼각형 기법을 이용하여 상기 사람 얼굴에서 선택된 세 지점으로 구성된 삼각형의 깊이 변화로부터 상기 움직임 변화값을 획득하는 것을 특징으로 하는 아바타 움직임 제어 기능이 구비된 이동 단말기.
  8. 청구항 6에 있어서, 상기 제어부는,
    상기 움직임 변화값 획득부에 의해 획득된 피사체의 움직임 변화값을 네트워크를 통해 임의의 통신 단말기에 전송하는 전송 처리부를 더 포함하며,
    상기 피사체의 움직임 변화값에 의해 해당 통신 단말기에 저장된 아바타가 피사체의 움직임에 동기화된 움직임을 가지고 표시되는 것을 특징으로 하는 아바타 움직임 제어 기능이 구비된 이동 단말기.
  9. 임의의 통신 단말기에 의해 촬영된 피사체의 영상으로부터 획득된 피사체의 움직임 변화값을 해당 통신 단말기로부터 수신하는 단계와,
    상기 수신된 움직임 변화값에 따라 화면에 표시될 아바타의 동작을 매핑하여 상기 피사체의 움직임에 동기화된 움직임을 가지는 아바타를 화면에 표시하는 단계를 포함하는 이동 단말기의 아바타 움직임 제어 방법.
  10. 임의의 통신 단말기에 의해 촬영된 피사체의 영상으로부터 획득된 피사체의 움직임 변화값을 해당 통신 단말기로부터 수신하기 위한 무선 통신을 수행하는 RF부와,
    화면에 표시될 아바타 및 상기 RF부를 통해 수신된 상기 피사체의 움직임 변화값을 저장하는 메모리와,
    상기 움직임 변화값에 따라 화면에 표시될 아바타의 동작을 매핑하여 상기 피사체의 움직임에 동기화된 움직임을 가지는 아바타를 화면에 표시하는 제어부를 포함하는 아바타 움직임 제어 기능이 구비된 이동 단말기.
KR1020060035591A 2006-04-20 2006-04-20 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기 KR100659901B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060035591A KR100659901B1 (ko) 2006-04-20 2006-04-20 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060035591A KR100659901B1 (ko) 2006-04-20 2006-04-20 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기

Publications (1)

Publication Number Publication Date
KR100659901B1 true KR100659901B1 (ko) 2006-12-20

Family

ID=37815068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060035591A KR100659901B1 (ko) 2006-04-20 2006-04-20 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기

Country Status (1)

Country Link
KR (1) KR100659901B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980202B1 (ko) * 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR101156753B1 (ko) * 2010-04-26 2012-06-14 팬터로그인터액티브 주식회사 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980202B1 (ko) * 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR101156753B1 (ko) * 2010-04-26 2012-06-14 팬터로그인터액티브 주식회사 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법

Similar Documents

Publication Publication Date Title
WO2018153267A1 (zh) 群组视频会话的方法及网络设备
US7889192B2 (en) Mobile equipment with three dimensional display function
CN107580209B (zh) 一种移动终端的拍照成像方法及装置
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN110413108B (zh) 虚拟画面的处理方法、装置、***、电子设备及存储介质
CN110401810B (zh) 虚拟画面的处理方法、装置、***、电子设备及存储介质
CN112533017B (zh) 直播方法、装置、终端及存储介质
CN110263617B (zh) 三维人脸模型获取方法及装置
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
CN112634416A (zh) 虚拟形象模型的生成方法、装置、电子设备及存储介质
CN111243105B (zh) 增强现实处理方法及装置、存储介质和电子设备
CN113194254A (zh) 图像拍摄方法及装置、电子设备和存储介质
CN112581571A (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN108933891B (zh) 拍照方法、终端及***
CN113741681A (zh) 一种图像校正方法与电子设备
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110807769B (zh) 图像显示控制方法及装置
CN111670431A (zh) 信息处理装置、信息处理方法以及程序
KR20050082559A (ko) 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
KR101075720B1 (ko) 휴대단말기의 이미지편집 방법
KR100659901B1 (ko) 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기
CN111837381A (zh) 增强现实的通信方法及电子设备
KR100700872B1 (ko) 이동 통신 단말기의 3차원 개인 캐릭터 표정 표시 방법 및이를 위한 이동 통신 단말기
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
CN112669233A (zh) 图像处理方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141124

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee